Spark工具类——spark-submit

spark-submit是spark提交任务的工具。spark-submit可以提交任务到spark集群执行,也可以提交任务到hadoop的yarn集群执行。

nieo nieo 发布于 2024-04-10

Spark工具类——spark-shell

spark-shell是一种对spark程序交互式开发的途径。spark-shell提供了一种学习API的简单方式,以及一个能够进行交互式分析数据的强大工具,可以使用scala编写(scala运行与Java虚拟机可以使用现有的Java库)或使用Python编写。

nieo nieo 发布于 2024-04-10

Spark通信架构

Spark架构体系中,各个组件通过RPC协议通信。本文基于spark-3.5.1版本。

nieo nieo 发布于 2024-04-10

Spark Shuffle简述

Spark Shuffle用于将Map阶段的数据输出到Reduce阶段。

nieo nieo 发布于 2024-04-10

20240409中国天瑞水泥崩盘

2024年4月9日,港股中国天瑞水泥暴跌99%。

nieo nieo 发布于 2024-04-10

生活的剧本(一)

土味情话?高雅情话?

nieo nieo 发布于 2024-04-08

Kerberos认证简述

官网中对Kerberos的介绍是“Kerberos is a network authentication protocol. It is designed to provide strong authentication for client/server applications by using secret-key cryptography”。也就是说Kerberos是一个网络授权协议,主要通过密钥加密实现C/S应用的强授权。

nieo nieo 发布于 2024-04-07

Ranger Plugin启动及策略同步

Ranger Plugin无法独立存在,是伴随着服务进程的启动而存在的。

nieo nieo 发布于 2024-04-06

Ranger简述

官网介绍:Apache Ranger is a framework to enable, monitor and manage comprehensive data security across the Hadoop platform.

nieo nieo 发布于 2024-04-06

JAAS简述

JAAS全称为Java Authentication and Authorization Service,即Java认证和授权服务。JAAS包含两方面的内容:Authentication和Authorization。

nieo nieo 发布于 2024-04-06