Hadoop之部分常用命令-APISpace

Hadoop之部分常用命令

功能说明	命令
创建目录	hdfs dfs -mkdir -p /data/flink
显示目录	hdfs dfs -ls /
从HDFS拷贝到本地	hdfs dfs -copyToLocal /data/data.txt ./
文件上传到集群(从本地)	hhdfs dfs -copyFromLocal data.txt /
文件下载	hdfs dfs -get /data/flink
删除集群的文件	hdfs dfs -rm /data/flink
删除文件夹	hdfs dfs -rm -r -skipTrash /data
从本地剪切粘贴到HDFS	hdfs dfs -moveFromLocal data.txt /data/
追加一个文件到已经存在的文件末尾hdfs dfs -appendToFile data1.txt /data/data.txt
显示文件内容	hdfs dfs -cat data.txt
修改文件所属权限	hdfs dfs -chmod 777 xxx.sh
修改文件所属用户组	hdfs dfs -chown root:root data.txt
从HDFS的一个路径拷贝到HDFS的另一个路径	hdfs dfs -cp data.txt /data1.txt
在HDFS目录中移动文件	hdfs dfs -mv data.txt /opt/
合并下载多个文件	hdfs dfs -getmerge /data/* ./data_merge.txt
hadoop fs -put	等同于copyFromLocal
显示一个文件的末尾	hdfs dfs -tail data.txt
删除文件或文件夹	hdfs dfs -rm /data/data.txt
删除空目录	hdfs dfs -rmdir /data
统计文件夹的大小信息	hdfs dfs -s -h /data
统计文件夹下的文件大小信息	hdfs dfs -h /data
设置HDFS中文件的副本数量	hdfs dfs -setrep 3 /data/data.txt

yarn命令

功能说明	命令
查看正在运行的yarn任务列表	yarn application -list appID
kill掉指定id的yarn任务	yarn application -kill appID
查看任务日志信息	yarn logs -applicationId appID

231 2022-11-21

Hadoop之部分常用命令