通过Yarn Client模式提交Spark任务,任务结束后,driver进程无法结束,一直阻塞。如果大量提交Spark任务,服务器中就会有大量的SparkSubmit进程,最终导致机器内存溢出。
IllegalArgumentException(String.format("Server has invalid Kerberos principal: %s, expecting: %s", serverPrincipal, confPrincipal))
通过SparkSession执行sparksql任务,报Permission denied错误
通过SparkLauncher提交spark-sql任务时,对于select的表,如果该表同时有任务在写,则会报错