杉岩数据银行Documentum迁移方案

杉岩数据银行Documentum迁移方案

一、方案原理

图2 Documentum迁移时间线

业务切割后影像系统数据访问流程示意图

业务切割到SandStone MOS完成后，整个影像系统访问NAS和SandStone MOS的数据流程如图3所示：

所有新的文件保存到SandStone MOS，历史文件数据的读取由对象网关服务层自动代理到NAS；

业务在线的情况下，管理员通过SandStone MOS生命周期转移特性，设置NAS数据转移到SandStoneMOS的具体时间点和策略，SandStone MOS将自动完成全量NAS文件到自身的搬迁。

二、 业务接口改造

影像平台使用Documentum，通过Documentum提供的HTTP方式的API接口完成增删改查操作，SandStone MOS提供的S3接口同样属于HTTP方式的API，所以业务系统改造只需要从原来的Documentum接口改为调用SandStone MOS提供的标准S3接口即可。原有的方式是：影像系统通过Documentum API对数据进行检索，得到文件的r_object_id，进而根据r_object_id获取文件。数据完成迁移之后：影像系统通过MOS提供的检索接口检索对象，得到对象名，进而根据对象名称获取对象。

三 业务切割关键问题

1、 NAS纳管性能

NAS文件纳管的过程中，从Documentum的数据库查询文件的元数据和索引信息，然后将文件索引以及标签信息一并写入到SandStone MOS，Oracle 数据库的查询性能一般比存储系统写入的性能高，存在数量级的差别，所以NAS文件纳管的速度主要瓶颈在存储系统。

2、 数据存量

3、切割时间估算

假设存量数据总量按照300TB，平均200KB大小，总共大概是16亿个文件，按照5000/s的速度，那么如图4所示：

存量数据的纳管需要89小时，大概4天完成；

存量数据纳管的这4天内，业务数据增量为(30*50TB)/365 = 4.1TB，增量文件数量大概是2200万

2200万增量数据的纳管需要1.2小时，也就是业务切割时需要停机的时间，加上其他操作时间，预计2小时可以完成。

图4 业务切割时间线

4、 失败回滚

假如业务切割到SandStone MOS上之后，验收测试发现异常需要处理，可以立即回滚业务系统，切回Documentum，因为实际数据和元数据都没有删除掉，整个系统能够立即恢复服务，风险小。

四、完整迁移步骤

1、准备工作

如图所示，保证Documentum的DB和NAS服务可以正常访问，业务系统正常运行，部署好SandStone MOS分布式对象存储可用。

2、存量数据纳管

无需停业务，保持业务正常在线。

记录当前时间点T1，通过迁移工具从数据库读取T1时间点及之前的文件元数据及索引一并写入SandStone MOS，完成存量NAS文件的纳管工作，预计花费时间4天。

3 业务停机

业务切割过程开始，记录当前时间点T2，停掉业务程序。

4、 增量数据纳管

完成T1到T2时间点新增数据文档的纳管，预计花费时间2小时。

5、 业务切换

此时所有Documentum文件数据通过SandStone MOS均可以统一访问，执行业务程序切换动作，将业务流量指向SandStone MOS。

6 业务恢复

启动新的业务程序，执行功能验证测试，如果失败则执行回滚操作，如果验证测试成功表明业务切割成功，整个迁移过程结束。

五 后期内容搬迁

1、数据正确性

SandStone MOS内置生命周期转移NAS文件的过程中，会自动对迁移完成的文件做MD5值校验，从而保证数据的完整性和正确性。

2、平滑迁移QoS

NAS文件搬迁的过程中为了防止对正常业务造成性能影响，SandStone MOS支持生命周期转移QoS控制功能，可以根据业务性能需求以及系统性能做合理调配，优先保证业务访问性能的前提下，最大化数据搬迁效率。

3、数据搬迁周期

业务切割成功之后，所有的新文件都直接写入SandStone MOS，所以后续需要搬迁的NAS文件数量是固定的，按照16亿计算，然后搬迁的生命周期转移QoS控制TPS为500，那么需要40天的搬迁时间，具体需要根据生产环境配置调整。

六、总结

面对XX银行上10亿的Documentum存量数据，EMC原厂提供的迁移方案需要超过一个月的迁移时间，工作量大、周期长，几乎不可行。

杉岩数据提供的Documentum迁移方案，结合SandStone MOS特有的NAS纳管特性，只需要4天的时间完成存量数据纳管以及2小时的停机时间窗完成增量纳管以及业务切割，极大简化了Documentum向对象存储迁移的业务复杂度，减轻应用改造和迁移工作量，能够满足XX银行Documentum迁移需求。

版权声明：本文内容由网络用户投稿，版权归原作者所有，本站不拥有其著作权，亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容，请联系我们jiasou666@gmail.com 处理，核实后本网站将在24小时内删除侵权内容。