Kudu表数据备份还原说明​

网友投稿 457 2022-11-18

Kudu表数据备份还原说明​

文档目的

ods层kudu大表数据迁移到hive

迁移步骤

先将数据从kudu备份到hdfs上,再从hdfs将数据还原到hive

数据备份脚本

#!/bin/bash


dt=`date "+%Y%m%d %H:%M:%S"`

echo "$dt 开始数据备份!" >> ./backup.log


sudo -u hdfs spark-submit --master yarn \

--class org.apache.kudu.backup.KuduBackup /opt/cloudera/parcels/CDH/jars/kudu-backup2_2.11-1.10.0-cdh6.3.0.jar \

--kuduMasterAddresses gray-data-dwma01,gray-data-dwma02,gray-data-dwma03,data-gray-alhzgz-ecs-dtpbu-cdh-tank-v2-dwma-04,data-gray-alhzgz-ecs-dtpbu-cdh-tank-v2-dwma-05 \

--rootPath /user/hive/warehouse/kudu-backup \

db_prod.ads_agent_data_driver_apply_ds


dt=`date "+%Y%m%d %H:%M:%S"`

if [ $? -eq 0 ];then

echo "$dt 备份成功!" >> ./backup.log

else

echo "$dt 备份失败!" >> ./backup.log

fi

脚本说明:脚本执行方式 nohup sh 脚本名 &

:dt 系统时间

:--class org.apache.kudu.backup.KuduBackup 本地jar路径

:--kuduMasterAddresses kuduMaster地址

:--rootPath 备份目录

:db_prod.ads_agent_data_driver_apply_ds 需要备份的库表,脚本只需修改此处

数据还原脚本

#/bin/bash


dt=`date "+%Y%m%d %H:%M:%S"`

echo "$dt 开始数据还原!" >> ./backup.log


sudo -u hdfs spark-submit --master yarn \

--class org.apache.kudu.backup.KuduRestore /opt/cloudera/parcels/CDH/jars/kudu-backup2_2.11-1.10.0-cdh6.3.0.jar \

--kuduMasterAddresses gray-data-dwma01,gray-data-dwma02,gray-data-dwma03,data-gray-alhzgz-ecs-dtpbu-cdh-tank-v2-dwma-04,data-gray-alhzgz-ecs-dtpbu-cdh-tank-v2-dwma-05 \

--rootPath /user/hive/warehouse/kudu-backup \

db_prod.ads_agent_data_driver_apply_ds


dt=`date "+%Y%m%d %H:%M:%S"`

if [ $? -eq 0 ];then

echo "数据还原成功!" >> ./backup.log

else

echo "数据还原失败!" >> ./backup.log

fi

脚本说明:脚本执行方式 nohup sh 脚本名 &

:dt 系统时间

:--class org.apache.kudu.backup.KuduRestore 本地jar路径

:--kuduMasterAddresses kuduMaster地址

:--rootPath 备份保存目录

:db_prod.ads_agent_data_driver_apply_ds 需要还原的库表,脚本只需修改此处

版权声明:本文内容由网络用户投稿,版权归原作者所有,本站不拥有其著作权,亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容,请联系我们jiasou666@gmail.com 处理,核实后本网站将在24小时内删除侵权内容。

上一篇:Java数据结构之图的领接矩阵详解
下一篇:介绍COMSOL5.0版本中新增射线光学模块
相关文章

 发表评论

暂时没有评论,来抢沙发吧~