使用腾讯云对象存储COS之间的数据如何进行迁移

网友投稿 537 2022-10-12

使用腾讯云对象存储COS之间的数据如何进行迁移

全托管公网迁移模式中,无需自主部署 Agent,任务创建之后自动化执行。腾讯云 COS 间迁移时 MSP 将通过内网拉取源对象存储桶数据并保存到目标对象存储桶,不会产生额外费用。

本文将详细介绍腾讯云 COS 间迁移,应如何配置全托管公网迁移任务,实现数据迁移。

准备工作

一、腾讯云对象存储

1. 创建目标存储空间,用于存放迁移的数据。

2. 创建用于迁移的子用户并授予相关权限:

登录腾讯云访问管理控制台。在左导航栏中选择【用户】>【用户列表】,进入用户列表页面。新建子用户,勾选编程访问及腾讯云控制台访问。搜索并勾选 QcloudCOSAccessForMSPRole 及 QcloudCOSFullAccess 策略。完成子用户创建并保存子用户名,访问登录密码,SecretId,SecretKey。

说明: 迁移服务也可以使用主账号操作,但是出于安全考虑,建议新建子用户并使用子用户 API 密钥进行迁移,迁移完成后删除。

操作步骤

一、登录迁移服务平台

1. 登录控制台找到迁移服务平台 ,在左导航栏中单击进入【迁移工具】页面。

2. 找到【文件迁移工具】模块,单击【立即使用】,进入文件迁移工具配置页面。

二、新建迁移任务

1. 在文件迁移工具页面,单击【新建任务】,进入新建文件迁移任务界面,进行迁移参数的设置。

6. 设定迁移规则。选择对指定桶中的全部文件进行迁移,或仅迁移指定前缀的文件。

7. 指定迁移任务的开始时间。如需在指定时间开始迁移,开启此开关并设定开始时间。

10. 指定迁移到目标桶的指定目录。

若迁移源与目标源有内容不同,名称相同的文件,建议在【同名文件】配置处选择【跳过(保留目标桶中已有的同名文件)】,系统默认选择【覆盖(源桶中的文件会覆盖目标桶中的同名文件)】。若在迁移过程中文件内容有变化,需要进行二次迁移。保存到根目录:直接将源桶中的文件按原始相对路径保存到目标桶的根目录。保存到指定目录:将源桶中的文件保持原始相对路径保存到指定目录中。

注意:若迁移源与目标源有内容不同,名称相同的文件,建议在【同名文件】配置处选择【跳过(保留目标桶中已有的同名文件)】,系统默认选择【覆盖(源桶中的文件会覆盖目标桶中的同名文件)】。若在迁移过程中文件内容有变化,需要进行二次迁移。

11. 选择迁移模式。

12. 单击【新建并启动】,即可启动迁移任务。

三、迁移状态和进度

在文件迁移工具主界面中,可以查看所有文件迁移任务的状态和进度:

“任务完成”状态,绿色是任务完成并且所有文件都迁移成功,黄色是迁移任务完成但部分文件迁移失败。

单击“重试失败任务”链接后,该任务中失败的文件将会重试迁移,已经成功迁移的文件不会重传。单击“导出”链接可以导出迁移过程中失败的文件列表。

四、迁移完成时间

迁移速度由迁移过程中涉及到的每一个环节的最低速度决定,同时受到网络传输速度和最大并发数影响。

影响因素有:

影响因素说明
迁出源的读取速度数据源的读取速度因不同的服务商而不同,通常:
  • 传输速度在50Mbps - 200Mbps之间。

  • 文件读取并发在500 - 3000之间(大量小文件的传输受并发限制)。

MSP 平台的传输速度MSP 平台提供最大200Mbps的迁移带宽。
迁入目标位置的写入速度腾讯云对象存储 COS:写入传输速度200Mbps,写入并发500 - 800之间。
整体迁移速度会是6MByte - 25MByte(即21GB/小时 - 87GB/小时)之间。

关注腾讯云 掌握更多云技术

版权声明:本文内容由网络用户投稿,版权归原作者所有,本站不拥有其著作权,亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容,请联系我们jiasou666@gmail.com 处理,核实后本网站将在24小时内删除侵权内容。

上一篇:Harbor私有仓库建立+原理
下一篇:Java利用Socket和IO流实现文件的上传与下载
相关文章

 发表评论

暂时没有评论,来抢沙发吧~