崇明建设镇乡镇府网站,帝国cms使用教程,活动策划方案书模板,wordpress设置水印作为一种Schema Free文档数据库#xff0c;MongoDB因其灵活的数据模型#xff0c;支撑业务快速迭代研发#xff0c;广受开发者欢迎并被广泛使用。在企业使用MongoDB承载应用的过程中#xff0c;会因为业务上云/跨云/下云/跨机房迁移/跨地域迁移、或数据库版本升级、数据库整…作为一种Schema Free文档数据库MongoDB因其灵活的数据模型支撑业务快速迭代研发广受开发者欢迎并被广泛使用。在企业使用MongoDB承载应用的过程中会因为业务上云/跨云/下云/跨机房迁移/跨地域迁移、或数据库版本升级、数据库整合、数据库拆分、容灾等业务场景存在MongoDB迁移或同步的业务诉求。
在MongoDB迁移的过程中其迁移时间、迁移数据准确性及迁移过程中业务的停机要求无疑是影响迁移能否成功的关键因素。由此如何选择合适的迁移工具提供高效、安全、准确的迁移能力至关重要。
01 传统数据迁移方案
传统的MongoDB迁移一般基于mongodump及mongorestore等导入导出工具进行数据搬迁使用这种搬迁工具一般存在如下问题 停机时间长由于mongodump/mongorestore不支持增量数据的采集复制在MongoDB迁移期间要求业务停机停服时间通常高达数小时/上天对业务的挑战极大。特别当迁移难度较高时通常反复多次迁移业务停服时间更不可控。 可靠性不高不提供迁移过程的观测、诊断与修复能力迁移过程中出现错误一般需要重新迁移迁移难度较高。 数据准确性难保障此类工具因不提供对应的质量检测能力所以迁移的数据质量一般难以保障。 大数据量迁移挑战因其容灾能力不足不能很好支撑大数据量、大表的迁移。
02 NineData数据迁移方案
为解决用户面临的MongoDB迁移问题玖章算术旗下的云原生智能数据管理平台NineData 推出了MongoDB 业务不停服数据迁移能力。NineData实现了完全自动化的全量数据迁移以及增量数据的采集复制能力。其中增量数据迁移能力能够在结构迁移及全量数据迁移期间实时监听采集源MongoDB数据变更产生的oplog并在完成全量迁移后将变更数据实时复制到目标MongoDB实现源/目标MongoDB的动态复制。基于变更数据迁移能力在MongoDB数据迁移过程中业务可以正常提供服务无需停服。最终业务可根据需要选择对应时间点切换到目标MongoDB具体流程如下图。 除了提供业务不停服的迁移能力外NineData提供的MongoDB还具有如下能力
▶︎ 大数据量或大表的迁移能力
基于智能分片、动态攒批、并发迁移、表级断点续传等多种技术能力提供强劲迁移能力。
▶︎ 数据一致性对比
NineData提供了MongoDB的数据对比能力能够进行高效的一致性对比快速识别差异数据并提供对应的订正脚本快速订正修复差异内容有效保障迁移数据质量。
▶︎ 可观测可干预能力
NineData提供详细的迁移状态、进展及详情信息当出现迁移异常时会提供多种诊断修复能力帮助您保障任务稳定性。同时提供迁移限流能力您可根据业务需要自定义迁移速度保障MongoDB的稳定性。
03 一分钟启动全自动化迁移
虽然提供了比较强大的MongoDB迁移能力但是NineData使用起来非常简单只需要花1分钟时间完成任务配置即可以完全自动化完成数据的迁移及同步过程。下面我们来看下整个任务的配置过程
3.1 配置复制任务 MongoDB迁移及同步方案NineData配置复制任务 基于上述操作完成复制数据源、复制对象及复制类型的选择后即可快速启动MongoDB的全自动化迁移。当完成任务启动后NineData会自动进行全量数据迁移及增量数据复制。
当数据迁移完成后也可以配置对应的数据对比进行数据一致性的校验快速发现、定位并修复差异数据。下面会对刚才迁移的mongodb数据进行数据一致性校验。
3.2 全量数据对比 MongoDB迁移及同步方案NineData全量数据对比 如视频所示针对刚才迁移的MongoDB数据可以通过配置运行数据对比任务进行精准、完整的数据对比。数据对比过程中NineData会对每个Document的内容进行精准对比并快速发现差异内容并针对性提供订正脚本。
至此当数据迁移完成、数据校验及业务验证通过后业务可以选择一个低峰期进行MongoDB的停机切换切换到新的数据库至此完成整个迁移过程。
04 写在最后
当然除了MongoDB迁移外NineData支持MongoDB实例间的长期复制可应用于数据容灾、读写分离、测试数据构建等业务场景。同时NineData也已支持数十种常见数据库的迁移复制。NineData提供即开即用的SAAS模式及企业专属集群模式满足企业最高的数据安全合规要求。当前NineData已在运营商、金融、制造业、地产、电商等多个行业完成大规模应用实践。
数据迁移-迁移工具-数据传输-NineData-玖章算术
