探索Spark Executor在任务执行过程中的状态传递
SparkSQL中的DDL语句的执行主要通过对应的catalog元数据管理器来完成。
SparkSQL中,我们可以通过SHOW来查看table、database、namespace、catalog的列表。
Knox代理Spark History WebUI的问题
通过Yarn Client模式提交Spark任务,任务结束后,driver进程无法结束,一直阻塞。如果大量提交Spark任务,服务器中就会有大量的SparkSubmit进程,最终导致机器内存溢出。
Spark各发布版本的发布时间和官方文档说明
本文基于Spark3.4.1
kyuubi提供了一种ranger plugin,用于对spark任务的鉴权
本文基于spark3.5