Spark作为一个通用执行引擎,其任务提交过程与我们的工作生产息息相关。本文基于spark-3.5.1版本源码。
kafka作为一个数据中间件,虽然不能当成数据库来使用,但是中间会保存一段时间的数据,如果操作不善,可能导致数据丢失。
对于Java来说,JDK工具是分析JVM运行过程中各种OOM、Stucked等的工具。 jmap jmap工具用来打印指定java进程的详细信息。命令行格式为: jmap [options] pid 其中,options为可用命令行选项,pid表示java进程的进程号。具体options信息如下表所
如果你看到了这一篇文章,那么证明你已经安装成功了,感谢使用 Halo 进行创作,希望能够使用愉快。
源码解读Spark Catalog
实践过程中遇到的spark问题
提升说话艺术
在生产实践过程中,我们遇到的跟Yarn相关的问题
kubernetes容器内部时区问题
SparkSession.read.jdbc执行过程