参考官方文档https://hadoop.apache.org/docs/r3.4.0/hadoop-project-dist/hadoop-common/CommandsManual.html

基于3.4.0版本

1.archive——归档操作

参考官方文档https://hadoop.apache.org/docs/r3.4.0/hadoop-archives/HadoopArchives.html

2.checknative——检查本地库

参考官方文档https://hadoop.apache.org/docs/r3.4.0/hadoop-project-dist/hadoop-common/NativeLibraries.html

3.distcp——系统间资源拷贝

参考官方文档https://hadoop.apache.org/docs/r3.4.0/hadoop-distcp/DistCp.html

4.fs——文件系统管理

参考官方文档https://hadoop.apache.org/docs/r3.4.0/hadoop-project-dist/hadoop-common/FileSystemShell.html

5.gridmix——压力测试工具

hadoop集群的benchmark工具。

参考官方文档https://hadoop.apache.org/docs/r3.4.0/hadoop-gridmix/GridMix.html

6.classpath

打印所需要的hadoop jar和系统库信息。

7.conftest

检查hadoop配置xml文件是否有效。

8.credential

管理证书、密码和密钥等信息。

9.distch

一次性修改多个文件的属主和权限。

10.dtutil

管理delegation token

11.jar

运行jar文件

12.jnipath

打印java.library.path信息。

13.kerbname

把principal通过auth_to_local配置的规则转化为hadoop用户名。

14.kdiag

诊断kerberos问题。

15.key

管理密钥

16.kms

运行kms

17.version

打印版本

18.CLASSNAME

运行对应的类

19.envvars

显示hadoop环境变量

20.节点状态相关操作

主要有以下场景。

20.1.查看hdfs各个节点状态

bin/hdfs dfsadmin -report

结果如下所示：

Name: 172.0.0.24:4001 (172.16.0.24)
Hostname: 172.0.0.24
Decommission Status : Normal
Readonly: falseConfigured Capacity: 530166317056 (493.76 GB)
DFS Used: 17042657280 (15.87 GB)
Non DFS Used: 0 (0 B)
DFS Remaining: 512452571586 (477.26 GB)
DFS Used%: 3.21%
DFS Remaining%: 96.66%
Configured Cache Capacity: 0 (0 B)
Cache Used: 0 (0 B)
Cache Remaining: 0 (0 B)
Cache Used%: 100.00%
Cache Remaining%: 0.00%
Xceivers: 12
Last contact: Tue Jul 16 19:49:32 CST 2024
Last Block Report: Tue Jul 16 16:25:52 CST 2024
Num of Blocks: 2661

20.2.获取所有namenode的状态

bin/hdfs haadmin -getAllServiceState

结果如下所示：

2024-07-16T19:50:48,861 INFO security.UserGroupInformation: Hadoop UGI authentication : KERBEROS
172.0.0.3:4010                                    standby   
172.0.0.16:4010                                   standby   
172.0.0.2:4010                                    active

20.3.获取nn2的HA状态

bin/hdfs haadmin -getServiceState nn2

结果如下所示：

2024-07-16T19:51:03,660 INFO security.UserGroupInformation: Hadoop UGI authentication : KERBEROS
standby

20.4.将nn1由active切换为standby

bin/hdfs haadmin -transitionToStandby --forcemannual nn1

20.5.将nn2由standby切换为active

bin/hdfs haadmin -transitionToActive --forcemannual nn2

21.安全模式操作

主要有以下场景。

21.1.查看安全模式状态

hdfs dfsadmin -safemode get

21.2.进入安全模式

hdfs dfsadmin -safemode enter

21.3.离开安全模式

hdfs dfsadmin -safemode leave