当前kafka最新版本是3.6.0。本文主要讲述三个配置:listeners、advertised.listeners、listener.security.protocol.map
Spark任务在执行过程中,会产生大量的Event,是用来记录任务的执行过程的。这些Event会被记录到DistributedFileSystem中,随着时间的积累,这些在dfs中的记录需要被清理,这就是清理机制需要完成的工作。
IllegalArgumentException(String.format("Server has invalid Kerberos principal: %s, expecting: %s", serverPrincipal, confPrincipal))
spark-submit是spark提交任务的工具。spark-submit可以提交任务到spark集群执行,也可以提交任务到hadoop的yarn集群执行。