电商网站开发实验报告,公司网站建设申请单,如何做条形码网站怎么搞,苏州网站建设kgwl1 概览 本文主要介绍通过 DTS 数据迁移功能#xff0c;结合消息服务 for Kafka 与 TiDB 数据库的 Pump、Drainer 组件#xff0c;完成从TiDB迁移至百度智能云云原生数据库 GaiaDB。 消息服务 for Kafka#xff1a;详细介绍参见#xff1a;消息服务 for Kafka 产品介绍百度智… 1 概览 本文主要介绍通过 DTS 数据迁移功能结合消息服务 for Kafka 与 TiDB 数据库的 Pump、Drainer 组件完成从TiDB迁移至百度智能云云原生数据库 GaiaDB。 消息服务 for Kafka详细介绍参见消息服务 for Kafka 产品介绍百度智能云云原生数据库GaiaDB详细介绍参见云原生数据库 GaiaDB 2 需求场景 适用于使用百度智能云数据传输服务 DTS以下简称 DTS将 TiDB 数据库实例的数据通过公网/专线迁移到目标端 GaiaDB 实例中。 3 方案概述 3.1 迁移前置条件 已创建作为迁移源端的 TiDB 实例。已创建作为迁移目标端的 GaiaDB 实例。 3.2 数据库账号授权 数据库权限列表源端 TiDBSELECT, SHOW VIEW目标端 GaiaDBCREATE, CREATE ROUTINE, CREATE VIEW, ALTER, ALTER ROUTINE, SELECT, INSERT, UPDATE, DELETE, DROP, INDEX 3.3 注意事项 DTS 在执行全量迁移时将占用源库和目标库一定的资源可能会导致数据库负载上升。如果数据库业务量较大或服务器规格较低可能会加重数据库压力甚至导致数据库服务不可用。建议您在执行数据同步前谨慎评估在业务低峰期执行数据同步。如果源库中待迁移的表没有主键或唯一约束且所有字段没有唯一性可能会导致目标数据库中出现重复数据。 4 配置步骤 4.1 准备工作 如果 TiDB 数据库具有白名单限制访问您需要将 DTS 服务器IP地址加入 TiDB 白名单中。详情参见 DTS 授权 IP 白名单。若您需要增量同步则需进行以下配置 TiDB2GaiaDB.png 部署 Pump 和 Drainer 组件详情请参见 TiDB Binlog 集群部署。修改 Drainer 组件的配置文件设置输出为 Kafka详情请参见 Kafka 自定义开发。部署 Kafka 集群您可以选择自建或使用百度智能云消息服务 for Kafka详情参见创建消息服务 for Kafka 注意 1. 当接入方式为专线接入时请确保Kafka集群部署在专线接入相同的 VPC 内。2. 若选择百度智能云消息服务作为中转 Kafka请在创建集群时确保将 网络配置产品间转储 开关打开。 4.2 配置数据迁移 4.2.1 创建任务 首先在创建任务界面配置数据传输任务的部分上下游连接信息创建任务时支持源端/目标端位置选择自建数据存储和百度智能云数据库。 源端可根据数据源接入方式选择不同的接入类型 接入类型自建数据存储公网 接入类型支持公网/BCC/BBC/DCC 自建 TiDB 实例。数据类型固定选择 TiDB。地域自建数据存储实例所在的百度智能云逻辑地域。 接入类型自建数据存储专线 接入类型支持专线接入 TiDB 实例。数据类型固定选择 TiDB。地域专线接入实例所在的百度智能云逻辑地域。专线接入所在网络仅接入类型选择专线接入时存在。专线接入有三个可选项分别为该地域的 VPC 列表、该地域的可用区列表、选定可用区对应的子网列表。VPC 列表中请选择专线所在的 VPC。 目标端接入类型可直接选择云原生数据库 GaiaDB 接入类型云原生数据库 GaiaDB 接入类型支持云原生数据库 GaiaDB 实例。数据类型固定选择 GaiaDB。地域云原生数据库 GaiaDB 实例所在的百度智能云逻辑地域。 允许一键反向开启后可以支持割接后执行一键反向一键建立反向回滚同步任务。链路规格根据限流需求按需选择。 完成配置后点击【下一步】按钮完成创建任务返回列表页。 4.2.2 配置任务 列表页点击任务操作栏右侧【配置任务】按钮进入配置任务界面。 4.2.2.1 连接信息配置 源端连接信息配置 接入类型自建数据存储公网 主机名/IP公网接入时需要填入 TiDB 实例的公网 IP支持填写域名。端口填入 TiDB 实例的端口。账号填入 TiDB 实例的访问账号。密码填入 TiDB 实例的访问密码。是否同步增量若需要做增量同步需要开启此选项开启后需要填写 Kafka 连接信息如下所示 Kafka 版本选择 Kafka 版本号。Kafka Broker填入 Kafka Broker支持格式 IP:端口IP 与端口以英文冒号分隔多个地址以英文逗号分隔如 192.168.1.1:9092,192.168.1.2:9093。Kafka Topic填入 Kafka Topic 名称Topic 需要提前创建好。Kafka 消息格式填入 Kafka 消息格式当前仅支持 tidb-binlog 格式。Kafka 访问控制填写 kafka 访问控制策略。 接入类型自建数据存储专线 主机名/IP专线接入时需要填入 TiDB 实例在百度智能云 VPC 内的 IP。端口专线接入时需要填入 TiDB 实例在百度智能云 VPC 内的端口。授权白名单在源数据库的网络白名单中加入授权白名单 IP确保源端可与该 IP 连通。账号填入 TiDB 实例的访问账号。密码填入 TiDB 实例的访问密码。是否同步增量若需要做增量同步需要开启此选项开启后需要填写 Kafka 连接信息。 目标端连接信息配置 接入类型云原生数据库 GaiaDB 实例 ID接入类型为云原生数据库 GaiaDB 时表示云原生数据库 GaiaDB 的实例 ID。 完成配置后点击【授权白名单进入下一步】按钮进入对象映射配置页。 4.2.2.3 对象映射 配置任务-对象映射界面 TiDB 版配置参数说明如下 迁移类型支持结构迁移、全量迁移和增量同步其中增量同步为必选。同步语句选择增量同步阶段支持指定需要同步的 SQL 语句类型可多选。特殊 DDL 过滤增量同步阶段在选择了同步 DDL 语句的情况下支持过滤。自定义同步位点当未选择结构迁移和全量迁移仅选择了增量同步时可以指定增量同步的起始位点DTS 支持选择两种起始位点。详情可见自定义同步位点。 offset以 Kafka Topic 消息日志的偏移量作为起始位点格式参考100commitTs以 TiDB 事务的提交时间点作为起始位点格式参考426164827296890882 限制传输速度全量迁移和增量同步阶段更细粒度的限流策略支持按照每秒迁移的行数和每秒迁移的数据量限制任务的传输速度。详情可见迁移限速。重试时间源端/目标端实例无法连接后自动重试用户可根据实际情况调整重试时间或者在源端和目标端的实例释放后尽快释放 DTS 实例。同步 Online DDL指定是否同步由 gh-ost, pt-osc、DMS 工具执行的表结构变更操作。详情可见同步 Online DDL。传输对象DTS 支持三种配置传输对象方式。 整个实例将源端除系统库外的所有数据迁移到目标端不迁移的系统库为mysql、sys、information_schema、performance_schema。手动选择选择此选项时将出现如下的库表选择页面页面左侧会展示源端所有的库表信息在页面左侧选择需要迁移的库表库表信息将会被自动添加到页面右侧。点击右侧库表名旁的编辑按钮可以设置库表名映射、列名映射、行过滤、列过滤(白名单)、列过滤(黑名单)等功能注编辑功能在一键反向任务中不可用。模式匹配在一键反向任务中该选项不可用详情可见自定义迁移对象。 完成配置后点击【保存并预检查】按钮开始执行预检查。 4.2.3 预检查和启动任务 DTS 会在预检查阶段对任务配置及源端/目标端 MySQL 实例做检查确认是否满足数据迁移需求。其中检查结果分为四类 失败表示该检查项不通过且严重影响数据迁移的正常执行。失败的检查项无法强制通过建议您根据修复建议处理后重新预检查。警告表示该检查项不通过对数据迁移有一定负面影响。您可以确认后点击【强制通过】按钮强制通过检查。成功表示该检查项通过。未开始表示该检查项未开始执行。 若出现检查失败您可以修改任务配置后重新执行预检查或返回列表页后重新执行预检查。 预检查通过后您可直接启动数据迁移任务。 4.3 执行数据校验 在列表页观察到正向数据流进入复制变更阶段且延迟追平。 可以点击任务 ID 进入任务详情页。选择右侧数据一致性校验点击【创建一致性校验】按钮后可根据需要调整数据校验配置。完成后点击【确定】按钮启动数据校验。 执行完成的数据校验任务状态为任务结束您可以点击【查看详情】查看数据校验详情可以看到校验结果和数据不一致统计。对校验结果的详细解释可见创建数据校验任务 5 DTS 支持迁移的 TiDB 数据类型 TiDB数据类型DTS是否支持BOOLEAN支持TINYINT支持SMALLINT支持MEDIUMINT支持INT支持BIGINT支持DECIMAL支持FLOAT支持DOUBLE支持BIT支持YEAR支持DATE支持TIME支持DATETIME支持TIMESTAMP支持CHAR支持VARCHAR支持BINARY支持VARBINARY支持TINYTEXT支持TEXT支持MEDIUMTEXT支持LONGTEXT支持TINYBLOB支持BLOB支持MEDIUMBLOB支持LONGBLOB支持SET支持ENUM支持JSON支持
