hadoop的日常操作

hadoop的日常操作

一、清理空间步骤1.删除日志和回收站hdfs dfs -rm -r -skipTrash /user/*/.Trash/*hdfs dfs -rm -r -skipTrash /var/log/hadoop-yarn/apps/tools/logs/*hdfs dfs -rm -r -skipTrash /group/user/*/meta/hive-exec/*/*2.减少大表副本数a、查找大表hdfs dfs -du hdfs://dbdata/group/user/tools/meta/hive-temp-table hdfs://dbdata/group/user/tools/meta/hive-temp-table/comtysdktj hdfs://dbdata/group/user/tools/meta/hive-temp-table/kstj_os hdfs://dbdata/group/user/tools/meta/hive-temp-table/tysdktj hdfs://dbdata/group/user/tools/meta/hive-temp-table/otysdktj|awk '{print $2 " " $3}'|grep -v comtysdktj$|grep -v stj_os$|grep -v tysdktj$|grep -v otysdktj$|sort -k1,1nb|tail -100|awk '{print $1/1024/1024/1024 "G " $2}'b、修改副本数hadoop fs -setrep -w 1 -R hdfs://dbdata/group/user/tools/meta/hive-temp-table/s_tysdktj_db_home_nav_content_ys

版权声明：本文内容由网络用户投稿，版权归原作者所有，本站不拥有其著作权，亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容，请联系我们jiasou666@gmail.com 处理，核实后本网站将在24小时内删除侵权内容。