如何把本地的hdfs数据转存到oss

如何把本地的hdfs数据转存到oss

--如何把分区[20210802]从本地磁盘转移到oss上存储（即：做到部分分区在本地磁盘存储，部分分区在oss存储）

1.通过命令复制过去hadoop distcp hdfs://bigdata/user/hive/warehouse/test.db/dim_sony_dev_list_oss2/pt=20210802 oss://dbbigdata/hangwenping/dim_sony_dev_list_oss2/pt=20210802

2.删本地hdfs分区数据hdfs dfs -rm -r hdfs://bigdata/user/hive/warehouse/test.db/dim_sony_dev_list_oss2/pt=20210802

3.删除分区 alter table dim_sony_dev_list_oss2 drop IF EXISTS partition (pt='20210802');

4.增加oss分区中的数据alter table dim_sony_dev_list_oss2 add IF NOT EXISTS partition (pt='20210802') location 'oss://dbbigdata/hangwenping/dim_sony_dev_list_oss2/pt=20210802/';

版权声明：本文内容由网络用户投稿，版权归原作者所有，本站不拥有其著作权，亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容，请联系我们jiasou666@gmail.com 处理，核实后本网站将在24小时内删除侵权内容。