Spark任务提交过程

Spark作为一个通用执行引擎,其任务提交过程与我们的工作生产息息相关。本文基于spark-3.5.1版本源码。

Administrator Administrator 发布于 2024-03-20

Kafka丢数据的场景

kafka作为一个数据中间件,虽然不能当成数据库来使用,但是中间会保存一段时间的数据,如果操作不善,可能导致数据丢失。

Administrator Administrator 发布于 2024-03-20

JDK trouble-shooting tools

对于Java来说,JDK工具是分析JVM运行过程中各种OOM、Stucked等的工具。 jmap jmap工具用来打印指定java进程的详细信息。命令行格式为: jmap [options] pid 其中,options为可用命令行选项,pid表示java进程的进程号。具体options信息如下表所

Administrator Administrator 发布于 2024-03-15

Hello Halo

如果你看到了这一篇文章,那么证明你已经安装成功了,感谢使用 Halo 进行创作,希望能够使用愉快。

Administrator Administrator 发布于 2024-03-14

Spark Catalog设计

源码解读Spark Catalog

Administrator Administrator 发布于 2024-03-09

Spark问题合集

实践过程中遇到的spark问题

nieo nieo 发布于 2024-03-02

赞美她人

提升说话艺术

Administrator Administrator 发布于 2024-03-01

Yarn问题合集

在生产实践过程中,我们遇到的跟Yarn相关的问题

nieo nieo 发布于 2024-02-25

SparkSession jdbc SQL任务执行过程

SparkSession.read.jdbc执行过程

nieo nieo 发布于 2024-01-13