c语言sscanf函数的用法是什么
457
2022-11-18
Kudu表数据备份还原说明
文档目的
ods层kudu大表数据迁移到hive
迁移步骤
先将数据从kudu备份到hdfs上,再从hdfs将数据还原到hive
数据备份脚本
#!/bin/bash dt=`date "+%Y%m%d %H:%M:%S"` echo "$dt 开始数据备份!" >> ./backup.log sudo -u hdfs spark-submit --master yarn \ --class org.apache.kudu.backup.KuduBackup /opt/cloudera/parcels/CDH/jars/kudu-backup2_2.11-1.10.0-cdh6.3.0.jar \ --kuduMasterAddresses gray-data-dwma01,gray-data-dwma02,gray-data-dwma03,data-gray-alhzgz-ecs-dtpbu-cdh-tank-v2-dwma-04,data-gray-alhzgz-ecs-dtpbu-cdh-tank-v2-dwma-05 \ --rootPath /user/hive/warehouse/kudu-backup \ db_prod.ads_agent_data_driver_apply_ds dt=`date "+%Y%m%d %H:%M:%S"` if [ $? -eq 0 ];then echo "$dt 备份成功!" >> ./backup.log else echo "$dt 备份失败!" >> ./backup.log fi |
脚本说明:脚本执行方式 nohup sh 脚本名 &
:dt 系统时间
:--class org.apache.kudu.backup.KuduBackup 本地jar路径
:--kuduMasterAddresses kuduMaster地址
:--rootPath 备份目录
:db_prod.ads_agent_data_driver_apply_ds 需要备份的库表,脚本只需修改此处
数据还原脚本
#/bin/bash dt=`date "+%Y%m%d %H:%M:%S"` echo "$dt 开始数据还原!" >> ./backup.log sudo -u hdfs spark-submit --master yarn \ --class org.apache.kudu.backup.KuduRestore /opt/cloudera/parcels/CDH/jars/kudu-backup2_2.11-1.10.0-cdh6.3.0.jar \ --kuduMasterAddresses gray-data-dwma01,gray-data-dwma02,gray-data-dwma03,data-gray-alhzgz-ecs-dtpbu-cdh-tank-v2-dwma-04,data-gray-alhzgz-ecs-dtpbu-cdh-tank-v2-dwma-05 \ --rootPath /user/hive/warehouse/kudu-backup \ db_prod.ads_agent_data_driver_apply_ds dt=`date "+%Y%m%d %H:%M:%S"` if [ $? -eq 0 ];then echo "数据还原成功!" >> ./backup.log else echo "数据还原失败!" >> ./backup.log fi |
脚本说明:脚本执行方式 nohup sh 脚本名 &
:dt 系统时间
:--class org.apache.kudu.backup.KuduRestore 本地jar路径
:--kuduMasterAddresses kuduMaster地址
:--rootPath 备份保存目录
:db_prod.ads_agent_data_driver_apply_ds 需要还原的库表,脚本只需修改此处
版权声明:本文内容由网络用户投稿,版权归原作者所有,本站不拥有其著作权,亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容,请联系我们jiasou666@gmail.com 处理,核实后本网站将在24小时内删除侵权内容。
发表评论
暂时没有评论,来抢沙发吧~