所有标签
Redis
3
Elasticsearch
3
Quickwit
3
最新发布
53
Gravitino
2
Iceberg
1
Hudi
2
Doris
4
StarRocks
3
Pulsar
3
ClickHouse
5
SpringCloud
5
Trino
4
Presto
1
JDK
1
HBase
3
Kubernetes
2
Docker
9
MapReduce
1
Hadoop
6
HDFS
6
LDAP
1
工具
12
JVM
6
MySQL
4
Zookeeper
4
Flume
2
Ranger
4
Yarn
11
Flink
6
Hive
24
Spark
22
Kafka
59
生活随想
0
Kerberos
4
Livy
1
影视经典
4
常见问题
9
源码解析
11
SparkHistoryServer历史记录清理机制
Spark任务在执行过程中，会产生大量的Event，是用来记录任务的执行过程的。这些Event会被记录到DistributedFileSystem中，随着时间的积累，这些在dfs中的记录需要被清理，这就是清理机制需要完成的工作。
nieo
发布于 2024-04-21
spark on k8s模式下kerberos认证报错
IllegalArgumentException(String.format("Server has invalid Kerberos principal: %s, expecting: %s", serverPrincipal, confPrincipal))
nieo
发布于 2024-04-18
Spark工具类——spark-submit
spark-submit是spark提交任务的工具。spark-submit可以提交任务到spark集群执行，也可以提交任务到hadoop的yarn集群执行。
nieo
发布于 2024-04-10
Spark工具类——spark-shell
spark-shell是一种对spark程序交互式开发的途径。spark-shell提供了一种学习API的简单方式，以及一个能够进行交互式分析数据的强大工具，可以使用scala编写（scala运行与Java虚拟机可以使用现有的Java库）或使用Python编写。
nieo
发布于 2024-04-10
spark参数——spark.yarn.jars和spark.yarn.archive
Spark on Yarn模式中，我们可以通过spark.yarn.jars和spark.yarn.archive预置spark jars到HDFS中，当提交spark任务时，就不需要把${SPARK_HOME}/jars目录下的jar包上传到hdfs中，可以大大降低spark任务提交过程耗时。
nieo
发布于 2024-04-03