#yyds干货盘点# hadoop hdfs 文件系统操作命令大全

网友投稿 265 2022-11-22

#yyds干货盘点# hadoop hdfs 文件系统操作命令大全

1. 准备命令 -help

-help:输出这个命令参数hadoop fs -help rm

创建文件夹

hadoop fs -mkdir /sanguo

2. 上传

-moveFromLocal 从本地剪切粘贴到HDFS hadoop fs -moveFromLocal ./shuguo.txt /sanguo -copyFromLocal:从本地文件系统中拷贝文件到HDFS路径去 hadoop fs -copyFromLocal weiguo.txt /sanguo -put:等同于copyFromLocal,生产环境更习惯用put hadoop fs -put ./wuguo.txt /sanguo appendToFile:追加一个文件到已经存在的文件末尾 hadoop fs -appendToFile liubei.txt /sanguo/shuguo.txt

3. 下载

-copyToLocal:从HDFS拷贝到本地 hadoop fs -copyToLocal /sanguo/shuguo.txt ./ -get:等同于copyToLocal,生产环境更习惯用get hadoop fs -get /sanguo/shuguo.txt ./shuguo2.txt

4. HDFS直接操作 类似于linux 命令

-ls: 显示目录信息 hadoop fs -ls /sanguo -cat:显示文件内容 hadoop fs -cat /sanguo/shuguo.txt -chgrp、-chmod、-chown:Linux文件系统中的用法一样,修改文件所属权限 [apple@localhost hadoop-3.1.3]$ hadoop fs -chmod 666 /sanguo/shuguo.txt [apple@localhost hadoop-3.1.3]$ hadoop fs -chown atguigu:atguigu /sanguo/shuguo.txt -mkdir:创建路径 hadoop fs -mkdir /jinguo -cp:从HDFS的一个路径拷贝到HDFS的另一个路径 hadoop fs -cp /sanguo/shuguo.txt /jinguo -mv:在HDFS目录中移动文件 hadoop fs -mv /sanguo/wuguo.txt /jinguo -tail:显示一个文件的末尾1kb的数据 hadoop fs -tail /jinguo/shuguo.txt -rm:删除文件或文件夹 hadoop fs -rm /sanguo/shuguo.txt -rm -r:递归删除目录及目录里面内容 hadoop fs -rm -r /sanguo -du统计文件夹的大小信息 hadoop fs -du -s -h /jinguo 统计文件夹内部的文件信息 hadoop fs -du -h /jinguo -setrep:设置HDFS中文件的副本数量 hadoop fs -setrep 10 /jinguo/shuguo.txt 这里设置的副本数只是记录在NameNode的元数据中,是否真的会有这么多副本,还得看DataNode的数量。因为目前只有3台设备,最多也就3个副本,只有节点数的增加到10台时,副本数才能达到10。

版权声明:本文内容由网络用户投稿,版权归原作者所有,本站不拥有其著作权,亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容,请联系我们jiasou666@gmail.com 处理,核实后本网站将在24小时内删除侵权内容。

上一篇:基于springboot bean的实例化过程和属性注入过程
下一篇:如何三步完成HarmonyOS分布式任务调度?
相关文章

 发表评论

暂时没有评论,来抢沙发吧~