论坛建站教程,做国外网站做外贸,网站登录窗口怎么做,荆州网站建设514885简介#xff1a;本文会通过一个业务 Demo 案例#xff0c;介绍混合云容灾建设的难点#xff0c;以及如何基于 MSHA 来快速搭建应用双活架构并具备分钟级业务恢复能力。
作者#xff1a;远跖
前言
越来越多的企业在数字化转型和上云进程中选择混合云的形态#xff08;云…简介本文会通过一个业务 Demo 案例介绍混合云容灾建设的难点以及如何基于 MSHA 来快速搭建应用双活架构并具备分钟级业务恢复能力。
作者远跖
前言
越来越多的企业在数字化转型和上云进程中选择混合云的形态云自建 IDC 或云其他厂商云来进行容灾建设一方面不会过度依赖单一云厂商另一方面还能充分利用已有的线下 IDC 资源。
MSHA 云原生多活容灾解决方案[1]也发布了混合云多活容灾产品能力。本文会通过一个业务 Demo 案例介绍混合云容灾建设的难点以及如何基于 MSHA 来快速搭建应用双活架构并具备分钟级业务恢复能力。
业务混合云容灾实践
业务背景信息
A 企业是一个零售行业电商交易平台业务系统部署在自建 IDC 机房存在以下痛点
业务仅在 IDC 单机房部署缺少容灾能力。IDC 容量不足物理机器升级替换周期长不足以支撑业务的快速发展。
业务在快速发展过程中多次遇到的容量不足以及故障问题引起了公司高层的重视决心进行容灾能力建设。由于自建 IDC 是公司已有资产且稳定使用多年同时不希望过度依赖于云因此期望建立 IDC云 的混合云形态容灾架构。
当前应用部署架构
电商交易平台包含的应用
frontendWeb 应用负责和用户交互。cartservice购物车应用提供购物车添加、存储和查询服务。productservice商品应用提供商品、库存服务。
技术栈
SpringBoot。RPC 框架SpringCloud、Dubbo注册中心使用自建的 Nacos、Zookeeper。数据库 Redis 和 MySQL。混合云容灾目标
业务容灾需求归纳如下
云上云下互容灾切换 RTO 为分钟级。期望云上云下相互容灾继续发挥 IDC 的价值且不 100% 依赖于云。面对 IDC 或云故障场景关键时刻要敢切换、能切换且切换 RTO 要求小于 10 分钟。无数据一致性风险。云上云下的两个数据中心数据强一致日常态和容灾切换过程中都要避免存在脏写等数据一致性风险。一站式管控。业务容灾涉及的技术栈框架和云产品需要统一管控、统一运维、统一切换操作收敛在一站式管控平台方便故障场景快速白屏化操作自动化执行。实施周期短改造成本低。业务存在多个产品线依赖关系复杂、调用链路长且处于高速发展频繁迭代时期期望容灾建设不会给业务研发团队带来改造负担。
建设难点
流量管理难度高若采用 DNS 将流量按权重解析到云上和云下存在修改 DNS 解析生效时间长的问题通常为十分钟或小时级参见 DNS 解析生效时间 FAQ[2]不能满足容灾切换小于 10 分钟的要求。业务应用所依赖的 Redis 和 MySQLIDC内采用开源自建而云上直接使用云产品要实现开源自建云产品的容灾切换能力难。容灾切换数据质量保障难容灾切换过程中可能因数据同步延迟导致读到旧数据以及切换规则推送到分布式应用节点时间不一致等原因可能造成云上云下数据库同时读写而出现脏写的问题整个切换过程数据质量保障是个关键点同时也是难点。无业务代码侵入难要实现 Redis、MySQL 容灾切换能力通常需要业务应用配合改造对业务代码侵入大。
解决方案
结合业务容灾需求和混合云 IDC云形态的特点采用应用双活架构能够较好的满足业务容灾诉求。
应用双活架构
架构简图 架构规范
选择离 IDC 物理距离200km 的云上 Region网络延迟较低约 5~7ms。应用、中间件云上云下冗余对称部署同时对外提供服务应用双活。数据库异地主备异步复制备份。应用读写同一数据中心的数据库避免考虑一致性问题。
详细方案 应用流量双活
业务应用云上云下对称部署并基于 MSHA 接入层集群来承接入口 HTTP/HTTPS 流量按照比例或精准路由规则云上云下分流。多活控制台提供 MSFE 集群界面白屏化的部署、扩缩容、监控等常规运维能力以及应对故障场景的分钟级切流能力。
服务互通和同单元优先调用
业务应用需要按业务产品线分批上云过程中存在下游应用仅 IDC 部署的情况。利用 MSHA 注册中心同步功能可实现云上云下服务互通助力业务上云。同时基于 MSHA-Agent 的切面能力在 Dubbo/SpringCloud 服务调用时Consumer 优先调用同单元内的Provider从而避免跨机房调用带来的网络延迟减小业务请求 RT。
数据同步数据库连接切换
数据库异地主备部署云上云下应用日常态均读写云上 Redis 和 RDS 数据库无需考虑数据一致性问题。MSHA 控制台通过集成 DTS 同步组件支持云上云下的数据同步异步复制。同时基于 MSHA-Agent 切面能力具备应用数据库访问连接的切换能力云上 Redis 或 RDS 故障则可将读写访问连接切换到 IDC 内的 Redis 或 MySQL反之亦然。切换过程中还具备禁写保护能力避免产生读到旧数据以及脏写等数据质量问题。
一站式管控无业务代码侵入
MSHA 控制台支持 HTTP、数据库访问流量的统一管控、统一切换操作收敛在一站式管控平台方便故障场景快速白屏化操作自动化执行。同时针对业务应用 MSHA 提供了 Agent 接入方式无需业务代码改造即可获得相关容灾切换能力。
改造内容
应用上云选择跟自建 IDC 较近的阿里云地域云上完全冗余的部署一套应用、中间件和数据库以便搭建云上云下双活容灾架构。在这个 Demo 案例中选择杭州 Region 作为容灾单元。网络打通接入 CEN 云企业网实现云上云下网络互通详见多接入方式构建企业级混合云文档[3]。接入集群部署和配置云上云下部署 MSHA 接入层集群MSFE上挂 SLB 用于公网接入以及 MSFE 集群的负载均衡参见使用文档[4]。录入域名、URI 和后端应用地址从而具备云上云下分流和分钟级切流能力参见使用文档[5]。应用云上分批部署业务应用。JAVA 应用安装 MSHA-Agent并使用 Nacos 作为管控命令下发通道从而具备微服务同单元优先调用以及数据库访问连接切换能力参见使用文档[6]。中间件和数据库云上部署 MSE 托管 ZK/Nacos 注册中心、云数据库 Redis 和 RDS建议使用跨可用区部署高可用版本具备同城双活容灾能力。若存在某应用仅 IDC 部署的情况需要配置注册中心的服务同步参见使用文档[7]。配置云数据库 Redis/RDS 和自建 Redis/MySQL 的数据同步参见使用文档[8]。
改造后的应用部署架构
日常场景IDC云上同时承担业务流量--应用双活 访问电商 Demo 首页查看实际流量调用链概率性的访问到北京或杭州单元均读写北京单元内的数据库。 容灾能力
RPO1min依赖于 DTS 同步性能RTO1min依赖于 DTS 同步延迟MSHA 组件实现秒级切换。整体 RTO1min
容灾能力验证
基于 MSHA 完成应用双活架构建设后还需验证业务容灾能力是否符合预期。接下来将制造真实的故障来验证容灾恢复能力。
7.1 演练准备
进入 MSHA 控制台在左侧菜单栏选择监控大盘。页面顶部下拉选择切换到实际使用的命名空间。 查看页面中的各项监控指标。
说明演练前基于 MSHA 流量监控或其他监控产品确定业务稳态的监控指标如日常情况 RT200ms错误率1%以便在故障发生时判断故障影响面以及在故障恢复后判断业务的实际恢复情况。 7.2 应用故障注入
这里我们使用阿里云故障演练产品对阿里云-北京的商品应用注入故障。
进入 Chaos 故障演练产品控制台[9]顶部选择切换到相应地域左侧导航栏选择我的空间。 在我的空间选择配置好的演练50% 概率网络丢包然后单击执行演练。故障注入成功后打开电商首页或进行下单有概率出现访问异常符合预期。 7.3 切流恢复
在北京单元的商品应用故障的情况下可以通过 MSHA 切流功能将云上入口流量切 0快速恢复业务。
预期
100% 流量切换到杭州单元后业务完全恢复不受北京单元的故障影响。 切流操作
1. 进入 MSHA 控制台在左侧导航栏选择切流异地应用双活切流。
2. 在切流页面对北京单元点击一键切零。 3. 单击执行预检查在切流检查区域单击确认开始切流。
4. 在切流任务页面的当前状态显示切流完成表示切流已成功。 5. 刷新电商 Demo 首页多次访问均能正常展示符合预期。
查看实际流量调用链流量始终访问到杭州单元读写北京单元内的数据库。 7.4 数据库故障注入
从上面调用链可以看出杭州单元内的应用仍然访问的是北京单元的 Redis、MySQL 数据库。我们继续使用 Chaos 故障演练[10]产品对北京单元的 Redis、MySQL 数据库注入故障制造数据库故障场景。 故障注入成功后打开电商首页或进行下单始终访问异常符合预期。
7.5 切换数据库进行恢复
在北京单元的数据库故障的情况下可以通过 MSHA 数据库切换功能将应用访问的 Redis/MySQL 的连接切换至杭州单元的数据库切换过程中会等待数据同步追平期间会短暂禁写。
预期
应用连接的数据库切换到杭州后业务完全恢复不受北京单元的故障影响。 切流操作
1. 进入 MSHA 控制台在左侧导航栏选择异地应用双活数据层配置。
2.在数据保护规则列表中找到商品、订单、购物车数据库逐个点击主备切换。 3. 点击主备切换后会进入预检查页面确认各检查项状态正常后点击在确认执行则进入切换详情页并自动执行切换流程。 4. 主备切换详情页可以看到切换进度和切换结果任务进度 100% 后表示切换完成。 5. 商品、订单、购物车数据库都主备切换完成后。多次访问电商 Demo 首页或进行下单发现均已正常主备切换后业务功能完全恢复符合预期。
总结
在本篇文章中我们介绍了 MSHA 多活容灾助力企业进行混合云应用双活容灾建设的实践案例给出了容灾架构建设实践方法同时利用 Chaos 故障演练产品注入真实故障来验证故障场景业务容灾能力是否符合预期。
原文链接
本文为阿里云原创内容未经允许不得转载。
