解决HDFS上小文件的存储

解决HDFS上小文件的存储

从源头上解决，在上传到HDFS之前，就将多个小文件归档使用tar命令 带上参数-zcvf示例： tar -zcvf xxx.tar.gz 小文件列表 如果小文件已经上传到HDFS了，可以使用在线归档使用hadoop archive命令示例： hadoop archive -archiveName xxx.har -p /文件目录 小文件列表 /存放目录 在线归档的功能实际是一个MR程序，这个程序将HDFS已经存在的多个小文件归档为一个归档文件！ 在本地查看har包里的归档文件，一定要带上har://协议，只有ls不列出归档文件！ hadoop fs -ls har:///xxx.har 下载归档文件 hadoop fs -get har:///xxx.har/xxx文件

如果真的不知道做什么 那就做好眼前的事情吧 你所希望的事情都会慢慢实现...

版权声明：本文内容由网络用户投稿，版权归原作者所有，本站不拥有其著作权，亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容，请联系我们jiasou666@gmail.com 处理，核实后本网站将在24小时内删除侵权内容。