c语言sscanf函数的用法是什么
350
2022-11-18
Kudu_tool备份还原使用文档
Kudu_tool备份还原使用文档
日期 | 版本 | 修订说明 | 修改人 |
2020-08-3 | V1.0.0 | 创建文档 | 王昱翔 |
目 录
1. 引言 3
1.1 背景介绍 3
1.2 编写目的 3
1.3 适用范围 3
1.4 角色职责 3
1.5 其他 3
2. 脚本目录： 4
2.1 需要修改变量 4
2.2 导出表数据结构 5
2.3 导入表结构并创建表 6
2.4 备份kudu表数据 7
2.5 还原kudu表数据 9
2.6 备份hive数据 10
引言
背景介绍
Kudu表数据和hive表数据进行从阿里云迁移到私有云，数据300G需要进行迁移，固编写了此工具方便运维使用进行迁移Kudu表数据和hive表数据。
编写目的
指导本次运维进行kudu或者hive数据进行迁移
适用范围
甲方leader运维开发人员数据开发人员
角色职责
角色 | 职责 | 备注 |
PD | 需求提出者，发起需求评审，制定需求优先级，参与系分、测试评审； | 核心 |
设计人员 | 细分设计，制定开发计划，参与需求、测试评审 | 核心 |
运维人员 | 负责发布的执行；负责通知下游关联影响。 | 核心 |
其他
其他需要说明的内容。
1.需要修改变量
#修改变量 #kudu—hdfs目录 HDFS_KUDU_DIR=hdfs:///kudu-backups #脚本目录和日志目录 DIR=/opt/scripts/ LOG=/opt/scripts/log/ #hadoop家目录和impala无交互的密码 hadoop_home=/opt/cloudera/parcels/CDH-6.3.0-1.cdh6.3.0.p0.1279813 impala_script=$hadoop_home/lib/impala-shell/impala_shell.py impala_passwd=JtvUISiBxzKWZgeBcw55KhJq #impala jdbc地址和kudu_master地址 impala_jdbc=incubator-t3-dc-006 kudu_master=incubator-t3-dc-006,incubator-t3-dc-007,incubator-t3-dc-008 #导出表的名字和导入表的名字 export_name=test import_name=test_2 #kudu_hdfs_源目录和目标目录 transfer_source=hdfs://incubator-t3-dc-007:8020/kudu-backups transfer_target=hdfs://t3-test-cq-ecs-dtpbu-cdh-02:8020/kudu-backups #hive_hdfs_源目录和目标目录 hive_hdfs_source=hdfs://incubator-t3-dc-007:8020/user/hive/warehouse/db_test.db/ hive_hdfs_target=hdfs://t3-test-cq-ecs-dtpbu-cdh-02:8020/user/hive/warehouse/db_test.db/ echo "========================================" |
2.导出表数据结构
3.导入表结构并创建表
备份kudu表数据
4.还原kudu表数据
5.备份hive数据
执行数字5即可
版权声明：本文内容由网络用户投稿，版权归原作者所有，本站不拥有其著作权，亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容，请联系我们jiasou666@gmail.com 处理，核实后本网站将在24小时内删除侵权内容。
相关文章
发表评论
暂时没有评论，来抢沙发吧~