对象存储服务OBS备份及恢复,迁移

对象存储服务OBS备份及恢复,迁移

需求：根据风险控制要求，建立针对数据湖的备份恢复机制，执行恢复测试演练

因上层mysql其实已经存储元数据，数据湖数据基本不会存在丢失风险，不过为了以防万一。还是测试了下，使用了2种方法。

因生产，所以加了各种马赛克！

方法1：使用hdfs方式进行备份恢复（不推荐使用）

​第一步:随机备份一个数据湖里面的表（dwd_*）​

第二步：查询原始数据大小

第三步：备份

hdfs dfs -mkdir -p /bakhdfs dfs -cp -f obs://路径/dwd /bak[omm@ t3mgr]$ hdfs dfs -du -s -h /bak19.5 M 58.5 M /bak

第四步：验证

第五步：恢复

hdfs dfs -cp -f /bak obs://路径/dwd

方法2：使用工具obsutil

obsutil快速使用流程

​​第一步：下载

​​config -i=ak -k=sk -e=endpoint

第四步：随机备份一个表（先查看）

obsutil ls obs://路径/dw

第五步：查询状态

obsutil stat obs://路径/dw

第六步：拷贝到本地

obsutil cp obs://路径/表 ./ -f -r

第六步：复制到另一个桶里面

obsutil cp obs://bucket-test/temp/ obs://bucket-test2 -r -f

第七步：检查桶数据是否一致

版权声明：本文内容由网络用户投稿，版权归原作者所有，本站不拥有其著作权，亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容，请联系我们jiasou666@gmail.com 处理，核实后本网站将在24小时内删除侵权内容。