Spark Executor结束状态传递过程

探索Spark Executor在任务执行过程中的状态传递

nieo nieo 发布于 2024-08-12

SparkSQL DDL语句执行过程

SparkSQL中的DDL语句的执行主要通过对应的catalog元数据管理器来完成。

nieo nieo 发布于 2024-08-01

SparkSQL SHOW语句执行过程

SparkSQL中,我们可以通过SHOW来查看table、database、namespace、catalog的列表。

nieo nieo 发布于 2024-08-01

Knox无法处理302 response的问题

Knox代理Spark History WebUI的问题

nieo nieo 发布于 2024-07-30

SparkSubmit任务无法退出导致服务器内存爆满问题

通过Yarn Client模式提交Spark任务,任务结束后,driver进程无法结束,一直阻塞。如果大量提交Spark任务,服务器中就会有大量的SparkSubmit进程,最终导致机器内存溢出。

nieo nieo 发布于 2024-07-28

Spark发布版本历程

Spark各发布版本的发布时间和官方文档说明

nieo nieo 发布于 2024-07-18

Spark Delegation Token Provider

本文基于Spark3.4.1

nieo nieo 发布于 2024-06-10

Spark HistoryServer WebUI交互过程

本文基于Spark3.4.1

nieo nieo 发布于 2024-06-10

kyuubi-spark-authz plugin

kyuubi提供了一种ranger plugin,用于对spark任务的鉴权

nieo nieo 发布于 2024-05-20

Spark参数——spark.driver.host

本文基于spark3.5

nieo nieo 发布于 2024-05-16