四、hdfs命令行操作

1、获取命令帮助

hdfs dfs -help command 如： hdfs dfs -help ls

2、创建目录

hdfs dfs -mkdir HDFS路径 选项：-p 递归创建目录

3、列出目录信息

hdfs dfs -ls HDFS路径 选项：-R 递归显示所有目录以及目录下的所有子目录和文件

4、上传文件或者目录

hdfs dfs -put 本地路径 HDFS路径 hdfs dfs -copyFromLocal 本地路径 hdfs路径 hdfs dfs -moveFromLocal 本地路径 hdfs路径 这个会删除本地文件

5、下载文件或者目录

hdfs dfs -get HDFS路径 本地路径 hdfs dfs -copyToLocal HDFS路径 本地路径

6、查看文件内容

hdfs dfs -cat HDFS路径

7、将本地文件内容追加到HDFS文件中

hdfs dfs -appendToFile 本地路径 HDFS路径

8、监控文件内容

hdfs dfs -tail -f HDFS路径

9、删除文件或目录

hdfs dfs -rm HDFS路径 选项：-r 递归删除子目录 注意：默认回收站关闭，所以删除的文件立马就没了

10、合并数据并下载到本地

hdfs dfs -getmerge HDFS路径1 HDFS路径2 .... 本地路径

11、统计类

hdfs dfs -count HDFS路径 统计 目录个数 文件个数 总的文件数 hdfs dfs -du HDFS路径 显示目录或者文件的大小 hdfs dfs -df HDFS路径 显示空间使用情况

12、复制和剪切

hdfs dfs -cp HDFSsrc HDFSdest HDFS内部复制 hdfs dfs -mv HDFSsrc HDFSdest HDFS内部剪切

13、文件权限

hdfs dfs -chown user:group HDFS路径 修改属主属组 hdfs dfs -chmod 权限 HDFS路径 修改权限

14、设置副本数

hdfs dfs -setrep n HDFS路径

三、管理命令

1、均衡datanode

hdfs balancer 将多个datanode节点进行数据均衡处理，避免有些节点存储数据过多

2、打印运行报告

hdfs dfsadmin -report

3、安全模式

hdfs dfsadmin -safemode enter|leave|get 进入安全模式|离开安全模式|获取安全模式状态

4、快照

hdfs dfsadmin -allowSnapshot HDFS目录 给某个目录做快照 hdfs dfsadmin -disableSnapshot HDFS目录 给某个目录取消快照

5、配额

//名称配额，简单说就是该目录下文件和目录的总个数的限制 hdfs dfsadmin -setQuota N HDFS目录1 HDFS目录2..... 设置名称配额 hdfs dfsadmin -clrQuota HDFS目录1 HDFS目录2..... 取消名称配额 //空间配额，简单说就是该目录的存储空间限制 hdfs dfsadmin -setSpaceQuota N单位(如:1GB) [-storageType ] HDFS目录1 HDFS目录2..... 设置空间配额 hdfs dfsadmin -clrSpaceQuota [-storageType ] HDFS目录1 HDFS目录2..... 取消空间配额 其中 storageType 有以下类型： RAW-DISK：原始物理磁盘 DISK： 分区空间 SSD： 固态硬盘 ARCHIVE：

四、hadoop启动相关命令

版权声明：本文内容由网络用户投稿，版权归原作者所有，本站不拥有其著作权，亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容，请联系我们jiasou666@gmail.com 处理，核实后本网站将在24小时内删除侵权内容。