长春网站制作价格,网站建设最好的,网站开发框架的主要作用,建设施工合同网站原文来源#xff1a; https://tidb.net/blog/a38c72a4 本文作者#xff1a;骏伯网络 唐帆#xff0c;PingCAP 贺美存 骏伯网络简介 广州骏伯网络是一家以数据驱动的科技公司#xff0c;聚焦移动互联网营销服务#xff0c;坚持以客户为中心#xff0c;深耕 APP、运营… 原文来源 https://tidb.net/blog/a38c72a4 本文作者骏伯网络 唐帆PingCAP 贺美存 骏伯网络简介 广州骏伯网络是一家以数据驱动的科技公司聚焦移动互联网营销服务坚持以客户为中心深耕 APP、运营商、金融保险等行业以解决客户营销痛点为目标为客户提供全链路营销服务。骏伯网络于 2015 年挂牌新三板连续 5 年入选广州未来独角兽企业已累计为超过 1000 家企业、超过 1600 款产品提供推广服务长期与头部 APP、三大运营商以及知名金融产品进行合作具备丰富的客户资源。 导读 骏伯网络是一家聚焦移动互联网营销服务的公司综合运营管理平台是其核心业务系统包括营销系统、订单、支付以及与外部系统的交互服务接口。为满足多元化的业务发展需求降低系统间交互链路的复杂性提升业务连续性以及实现降本增效的整体规划骏伯网络选择将 TiDB 作为综合运营管理平台的底层数据库。经过上线实践证明TiDB 为骏伯在业务连续性、性能提升、数据资源整合、降本增效等方面带来了显著价值。未来骏伯将扩展 TiDB 在数据分析类业务场景中的应用提升数据实时分析能力加快业务创新的步伐。 业务痛点与数据库技术选型 1. 业务简介、现状和痛点 综合运营管理平台是骏伯最核心的业务系统主要覆盖营销、渠道、媒介、创意等业务部门底层数据库包含 OLTP、OLAP 两种业务系统主要包含营销、订单和信息展现三部分。订单数据均会回流到订单服务模块订单成功后会推送到下单流程同时可以在平台中及时查看订单信息。 综合运营管理平台应用架构图 整套应用由 40 多个微服务组成底层数据库采用 20 多套 MySQL 主备高可用架构部署在 4 台物理服务器上主备交叉部署的模式。大数据分析平台采用 Hadoop 生态数据分析模式为 T1 的离线模式。 综合运营管理平台是一套面向互联网用户的实时交易系统对可靠性和性能要求较高。物理服务器的硬件故障会对生产运维和业务连续性造成较大的挑战和影响各套数据库相对相互独立需要实现跨库的数据实时共享。 2. 技术选型要求 为了配合系统改造解决业务连续性、数据扩展能力、资源利用率和性能等生产环境面对的痛点骏伯启动了对国内多家头部原生分布式数据库的测试选型具体的要求包括 业务连续性 任何硬件单点故障对数据库集群无影响在无人工干预的情况下业务能够持续对外提供正常服务。数据库应具备原生分布式高可用能力可根据业务重要性灵活设定数据副本数具备异地灾备能力可满足机房级高可用要求。 数据扩展能力 满足企业快速的业务变化需求支持横向扩展能力对业务无入侵性。数据库采用松耦合的存算分离架构按需灵活扩展计算或存储能力数据可自动重平衡通过节点扩展实现性能的线性增长。 应用透明迁移能力 数据库可兼容和延续现有的应用架构和代码提供数据在线的透明迁移能力降低应用改造和迁移难度。 数据实时压缩能力 数据库应具备库内实时在线的压缩能力在性能不受影响的前提下节省数据存储的成本。 数据可恢复性 数据库需提供物理和逻辑备份支持可选对象粒度的全量和增量备份可将集群恢复到任何时间点。在数据误操作的情况下提供闪回能力。 经过多轮对比测试和业务场景的验证TiDB 满足了本次技术选型的所有指标。骏伯网络选择将 TiDB 作为综合运营管理平台的底层数据库。 TiDB 在骏伯网络综合运营管理平台的应用 从整体数据规模、业务访问请求、资源高可用等维度考虑我们制定了详细的部署方案。结合现有应用和数据库情况我们设计了分批业务迁移计划历时 3 个月成功完成了所有应用的平滑迁移和部署。在主中心部署一套包含 4 台物理服务器的 TiDB 集群用于支撑综合运营管理平台。主中心集群通过 BR 完成数据库备份任务。MySQL 数据的迁移工作由 DM 组件完成以确保数据迁移的顺利进行。未来我们计划在异地构建一套单副本的集群通过 TiCDC 组件搭建数据容灾的演练环境从而实现异地灾备。 系统架构图 目前所有应用模块已成功迁移到 TiDB 集群上第一批迁移的业务已经稳定运行超过半年。系统在业务高峰期经历了验证并成功应对了单服务器硬件异常故障对业务连续性保障的实际考验完全实现了项目最初规划的目标。 业务峰值流量 QPS 大于 10K活跃连接数 400 左右且平均响应延时低于 200ms 。 应用价值 结合系统的实际运行效果总结 TiDB 为骏伯网络带来的收益如下 保障业务连续性 TiDB 原生多副本能力避免了任何单点硬件故障为业务提供无感知的保障能力。通过跨数据中心集群灾备能力保障机房级的故障影响充分保障业务的连续性。 降低资源和运维投入 TiDB 内置的数据实时压缩能力保障数据三副本的高可用。集群整体资源较原有 MySQL 主备集群实现了 20% 的成本降低。过去需要运维 20 多套 MySQL现在只需要运维一套 TiDB 集群整体运维投入大幅下降。 数据的实时汇聚和查询能力提升 通过 TiDB 原生分布式和透明扩展能力将原有 20 多套 MySQL 主备库归集到一套 TiDB 集群内实现多业务系统的数据实时汇聚、实时查询和数据实时变现能力。 应用迁移透明业务无侵入 通过 DM 工具实现从 MySQL 到 TiDB 的平滑迁移。TiDB 对 MySQL 的兼容能力和业务无入侵性对应用迁移改造成本极低在保障性能的基础上实现了应用的无缝迁移。目前已成功完成 20 多套库的应用透明迁移。 未来展望 骏伯网络致力于成为一家以数据服务为目标的企业将数据服务视为核心竞争力。近年来业务对数据服务能力提出了更高的要求从 T1 的离线数据分析转变为 T0 的实时分析效果。然而企业现有的 Hadoop 生态框架已无法满足新业务的数据分析需求主要表现在技术栈复杂、开发运维成本高、数据实时服务能力弱等方面。 在 2024 年的计划中我们旨在构建一套以 TiDB 为底座的数据实时分析平台以实现对数据的实时加工和统一服务能力。通过结合现有的 Hadoop 框架我们将打造一套流批一体化的数据湖平台从而加速企业数字化能力的提升。这一举措旨在有效解决技术栈复杂性、降低开发运维成本并增强数据的实时服务能力以更好地满足业务发展对数据实时分析和实时变现的要求。
