SparkHistoryServer历史记录清理机制

Spark任务在执行过程中，会产生大量的Event，是用来记录任务的执行过程的。这些Event会被记录到DistributedFileSystem中，随着时间的积累，这些在dfs中的记录需要被清理，这就是清理机制需要完成的工作。

nieo 发布于 2024-04-21

大数据 Kafka

Kafka数据迁移

kafka数据迁移方案

nieo 发布于 2024-04-20

IllegalArgumentException(String.format("Server has invalid Kerberos principal: %s, expecting: %s", serverPrincipal, confPrincipal))

nieo 发布于 2024-04-18

软件开发概论

SLA全称为Service Level Agreement，服务等级协议。

nieo 发布于 2024-04-13

Java

Javalin可以描述为A simple web framework for Java and Kotlin，很容易联想到Javalin=Java+(Kot)lin。

nieo 发布于 2024-04-12

大数据 Hadoop

hadoop体系从论文发布到生态体系的建设，历经20多年的蓬勃发展

nieo 发布于 2024-04-11

大数据 Spark

spark-submit是spark提交任务的工具。spark-submit可以提交任务到spark集群执行，也可以提交任务到hadoop的yarn集群执行。

nieo 发布于 2024-04-10

大数据 Spark

spark-shell是一种对spark程序交互式开发的途径。spark-shell提供了一种学习API的简单方式，以及一个能够进行交互式分析数据的强大工具，可以使用scala编写（scala运行与Java虚拟机可以使用现有的Java库）或使用Python编写。

nieo 发布于 2024-04-10

大数据 Spark

Spark架构体系中，各个组件通过RPC协议通信。本文基于spark-3.5.1版本。

nieo 发布于 2024-04-10

大数据 Spark

Spark Shuffle用于将Map阶段的数据输出到Reduce阶段。

nieo 发布于 2024-04-10