网站的建设公司哪个好,wordpress导航分类怎么添加new,赶集网官网首页,做模板网站的公司1、产品介绍 达梦数据实时同步软件#xff08;以下简称 DMHS#xff09;是支持异构环境的高性能、高可靠、高可扩展数据库实时同步复制系统。该产品采用基于日志的结构化数据复制技术#xff0c;不依赖主机上源数据库的触发器或者规则#xff0c;对主机源数据库系统几乎无影…1、产品介绍 达梦数据实时同步软件以下简称 DMHS是支持异构环境的高性能、高可靠、高可扩展数据库实时同步复制系统。该产品采用基于日志的结构化数据复制技术不依赖主机上源数据库的触发器或者规则对主机源数据库系统几乎无影响能以极少的系统开销实现秒级数据实时同步复制。 DMHS 基于成熟的关系数据模型和标准接口支持多种软硬件平台能够灵活的配置出一对一、一对多、多对一、多对多以及级联等多种形式的复制拓扑结构可以广泛应用于应急系统、容灾备份、负载均衡、数据移植、联机维护、订阅分发、多业务中心等业务领域。 2、产品特点
高通用性 跨平台软硬件支持面对日趋复杂的计算机环境具有极好的适应性。灵活可配置 体系结构高可扩展开放式的体系结构可以实现多种复制拓扑结构。数据同步内容可定制支持数据筛选、过滤、转换、压缩和加密。轻量级设计实现快捷部署能够在不中断业务的情况下将主机数据库中的当前数据平滑地装载到备机数据库中。性能良好 确保业务系统高可用复制对主机源数据库系统几乎无影响备机可实现业务系统快速切换和恢复。高效的数据实时同步采用并行处理技术实现大批量数据的实时复制。可读写的备机系统可以实现生产型业务与分析型业务相隔离的多业务中心。传输可靠 高可靠的数据传输严格按照主机业务系统事务顺序实施数据复制保障备机数据库与主机数据库的事务级完整性和一致性。
3、支持多种异构数据平台
DMHS 可以支持多种异构数据平台可以根据用户需求采用非常灵活的方式配置出各种拓扑结构。 目前源数据库可支持 DM 各系列、Oracle9i、Oracle10g、Oracle11g、Oracle12c、Oracle19c、ORACLE RAC 集群、DB2、PostgreSQL、MySQL 等。目的数据库支持具有 ODBC 标准接口实现的各种主流关系数据库管理系统目前适配过的数据库有 DM 各系列、DM 集群、Oracle9i、Oracle10g、Oracle11g、Oracle12c、Oracle19c、ORACLE RAC 集群、DB2、Sybase、SQLServer、PostgreSQL、MySQL 等。DMHS 支持多种计算机操作系统平台支持 Windows 系列、Linux 系列、IBM AIX、HP-UNIX 系列、Solaris 系列、国产操作系统 Kylin、Rocky 等 32 位和 64 位操作系统。DMHS 支持多种复制结构支持不同厂商硬件主机、存储之间数据库的数据复制。DMHS 的开放式体系结构使其能够适应各种异构数据平台。DMHS 支持一对一同步 、一对多广播型同步 、多对一聚合型同步 、双向同步、多对多同步、多级中转级联同步等多种数据同步形式支持组合多种同步形式以搭建复杂的拓扑结构。DMHS 支持主流厂商的硬件主机、存储之间数据库的数据复制例如 IBM、HP、联想、华为、浪潮、曙光等硬件厂商兼容多种硬件体系可运行于于 X86、SPARC、POWER 等硬件平台之上还支持龙芯、鲲鹏、飞腾、海光、兆芯、神威等国产 CPU 硬件平台产品实现了平台无关性。DMHS 能够在目前流行的各种软硬件平台和数据库环境下传输数据在同一解决方案架构下实现企业不同平台上的多个信息系统的统一复制的支持。
4、高可靠的数据复制能力 为保障数据传输内容的正确性DMHS 对复制的数据内容做了 CRC 校验保证收到的数据是可靠无误的DMHS 对复制数据先后顺序也做了严格的一致性验证保证数据复制传递过程是有序的。为保障数据传输的无丢失DMHS 使用检查点机制实现断点续传。断点包括两个部分即 DMHS 前置的变化数据捕捉模块数据抽取位置检查点和 DMHS 主程序的数据装载模块的已装载位置检查点。DMHS 的前置模块与主程序模块采取完备的消息应答机制来保障数据传输的可靠性和数据完整性。前置模块只有在得到确认消息后才认为数据传输完成否则将自动重新传输数据。 DMHS 支持初次数据装载全同步功能能够在不中断业务的情况下将源数据库中的当前数据平滑的装载到目标数据库中。DMHS 提供快速装载方式可针对源数据库历史的大量数据做到高效快速的初始化装载到目标数据库中。DMHS 提供丰富的装载选项可满足多种场景下的需求用户可灵活组合使用。 DMHS 的数据复制是通过分析源数据库的日志后以源端事务为单位发送给目标数据库的源数据库日志中记录的事务是严格有序的目标数据库严格按照源数据库上的事务顺序在目标数据库上实施数据复制同步目标数据库上所执行的事务一定是源数据库已经提交完成的事务DMHS 可保障目标数据库与源数据库的事务级完整性和一致性确保目标数据库数据复制事务的业务逻辑符合源数据库上事务的业务逻辑。
5、支持数据库的所有主流类型字段 DMHS 是目前业内成熟的数据复制和数据实时同步软件支持目前主流所有数据库的数据类型字段同步支持数值类型 (NUMBER、NUMERIC、DECIMAL、DEC、INTEGER、INT、SMALLINT、FLOAT、REAL、DOUBLE PRECISION、BINARY_FLOAT、BINARY_DOUBLE)、字符类型 (CHAR、VARCHAR、NCHAR、NVARCHAR2)、二进制数据类型 (BINARY、VARBINARY)、时间日期类型 (DATE、TIME、DATETIME、INTERVAL YEAR TO MONTH INTERVAL DAY TO SECOND)、大对象类型 (CLOB、BLOB、NCLOB、LONG、LONG RAW) 等主流类型字段的同步。
6、实现原理
达梦数据实时同步软件 DMHS通过秒级数据实时同步可以有效避免传统备份系统导致的无法完全满足企业对于信息系统不中断服务的问题通过变化日志捕捉可以有效降低传统 ETL 工具因创建触发器、影子表等对业务系统带来的性能影响通过实时的数据同步构建“双活”的主备系统解决传统基于数据库自身的主备系统中备机只读而无法对外提供写服务的问题。 DMHS 的基础实现原理如下图所示。 DMHS的组成原理框图中包含源端数据库、目标端数据库、源端DMHS服务以及目标端DMHS服务其中源端DMHS服务主要由装载模块LOAD)、日志捕获分析模块CPT以及管理服务模块MGR)组成目标端DMHS服务则由执行模块EXEC)和管理服务模块(MGR)组成。
在源端DMHS的 CPT 模块采用优化的日志扫描算法实现增量日志数据的快速捕获分析并将分析完成后的日志数据转换为内部的消息格式然后通过网络将消息发送至目标端DMHS服务
在目标端DMHS服务接收到源端的日志消息后对消息进行处理通过多线程并行执行的方式将同步数据应用至目标端数据库实现数据实时同步。
7、dmhs系统组成 DMHS 同步服务主要包括四个模块分别是捕获模块(CPT)、装载模块(LOAD)、传输模块(NET)以及执行模块(EXEC)这些模块统一由管理模块(MGR)进行管理执行。 管理模块(MGR)是 DMHS 同步服务的启动框架根据配置文件加载并启动相关的功能模块
1. 捕获模块CPT 对源数据库增量日志进行捕获并完成解析结合数据字典信息提取其中数据的变化如插入INSERT、删除DELETE、修改UPDATE和对象操作DDL然后将这些 操作及数据转换为内部的消息格式投递给网络NET模块。 不同的源数据库管理系统具有不同的日志格式但是在日志文件中通常都会记录操作的类型、操作的时间戳、事务 ID、操作数据等信息。DMHS 源端针对每一种支持的关系型数据库系统均提供有相应的日志捕获分析模块用以识别和解析不同的关系型数据库系统的日志数据。管理服务(MGR)中提供有通用的调用接口通过配置的数据库类型调用相应的日志分析模块。 CPT 日志分析模块通常还需要结合数据字典信息才能正确的解析同步数据因此在启动日志分析模块时首先要进行数据字典装载操作生成同步表的字典目录保存完字典信息后才能启动日志捕获分析模块。DDL 操作的捕获分析同步有 2 种方式分别是基于系统事件触发器的捕获分析和基于数据库日志的捕获分析。不同的实现方式其配置要求也不同详细可参考后续章节。
2. 装载模块LOAD) DMHS 在进行增量数据同步之前需完成同步表的字典装载和表数据的初始装载。表字典装载将所有同步表的数据字典信息从源库中抽取出来保存为本地的数据字典文件用于数据同步过程中提供准确表定义信息。数据初始装载用于将源端数据库的初始数据同步至目标数据库使得源库和目标库的初始数据保持一致。 数据初始装载的有两种方式直接的数据装载方式和备份文件装载方式。直接的数据装载方式基于源数据库数据的直接查询抽取装载备份文件装载方式则是基于数据库自身的数据备份还原将源库初始数据备份后在目标库进行还原达到初始数据一致。备份文件装载方式要求源库和目标库为同一类型的数据库系统目前 DMHS 仅支持 DM 数据库的备份文件装载方式。 初始装载使用 LOAD/COPY 控制台命令该命令可以在不中断源数据库服务的情况下把源表初始基础数据装载到目的库上同时配合日志分析模块完成该表后续的增量数据同步。初始装载模块不能跟日志分析模块同时运行在执行 COPY 命令时必须首先使用 STOP CPT 命令停止日志捕获分析模块的运行。
3. 传输模块NET
(1) NET 消息发送子模块 经过 CPT 捕获到的日志操作在这里进行分发分发前可以对操作进行过滤或者对表进行过滤和映射还可以对消息中的列进行映射改名、剔除和函数计算。经过处理的消息通过网络(TCP/IP)发送给下一级或者保存到本地文件。
(2) NET 消息接收子模块 经上一级 NET 消息发送子模块通过网络传输的消息在这里由 NET 消息接收子模块通过网络(TCP/IP)接收并发送给 EXEC 模块。而上一级 NET 消息发送子模块保存消息的本地文件目录既可以是一般的本地文件目录也可以是提供 FTP 服务的 FTP 文件目录。当上一级 NET 消息发送子模块将消息保存在一般本地文件目录时NET 消息接收子模块读取本地文件并发送给 EXEC 模块当上一级 NET 消息发送子模块将消息保存在 FTP 文件目录时NET 消息接收子模块可通过 FTP 服务器下载数据并发送给 EXEC 模块。 除了作为 CPT 模块和 EXEC 模块的传输媒介外NET 模块还能够单独实现转发和路由功能这两个功能需要在配置文件中独立配置通过转发和路由功能实现多对多、一对多、文件中转和 FTP 中转的高级功能具体配置方式和功能介绍请参阅相关章节。
4. 执行模块EXEC DMHS 目标端通过 NET 模块接收源端发送过来的日志消息然后把这些消息按事务分类如果某个事务上收到了提交消息则通过 SQL 逆向生成的技术构造还原相应的事务 SQL语句使用 ODBC 驱动接口对这些数据进行入库执行完成数据同步如果某个事务在源端回滚则直接丢弃不执行。 EXEC 模块使用多线程并行执行的方式对多个提交事务同时进行入库执行以提高入库执行的效率。由于事务之间的关联关系以及事务提交策略的影响多个执行线程之间可能存在一定的等待关系以满足事务的逻辑要求。EXEC 模块还可以通过事务合并、事务分裂等事务重组技术以及 rowid 映射、批量绑定执行等技术加快同步执行的效率。
