做网站的关键技术,营销师,网站建设推广资讯,微网站 html5本文根据美团高级测试开发工程师勋伟在美团第43期技术沙龙“美团金融千万级交易系统质量保障之路”的演讲整理而成。主要介绍了美团智能支付业务在稳定性方向遇到的挑战#xff0c;并重点介绍QA在稳定性测试中的一些方法与实践。 背景 美团支付承载了美团全部的交易流量#… 本文根据美团高级测试开发工程师勋伟在美团第43期技术沙龙“美团金融千万级交易系统质量保障之路”的演讲整理而成。主要介绍了美团智能支付业务在稳定性方向遇到的挑战并重点介绍QA在稳定性测试中的一些方法与实践。 背景 美团支付承载了美团全部的交易流量按照使用场景可以将其分为线上支付和智能支付两类业务。线上支付支撑用户线上消费场景处理美团所有线上交易为团购、外卖、酒店旅游等业务线提供支付能力智能支付支撑用户到店消费场景处理美团所有线下交易通过智能POS、二维码支付、盒子支付等方式为商家提供高效、智能化的收银解决方案。其中智能支付作为新扩展的业务场景去年也成为了美团增速最快的业务之一。 面临的挑战 而随着业务的快速增长看似简单的支付动作背后系统的复杂度却在持续提升。体现在上层业务入口、底层支付渠道的不断丰富微服务化背景下系统的纵向分层、服务的横向拆分还有对外部系统营销中心、会员中心、风控中心等、内部基础设施队列、缓存等的依赖也越来越多整条链路上的核心服务节点超过20个业务复杂度可想而知。 此外技术团队在短时间内就完成了从几个人到近百人规模的扩张这也是一个潜在的不稳定因素。曾经在一段时间内整个系统处在“牵一发而动全身”的状态即使自身系统不做任何发版升级也会因为一些基础设施、上下游服务的问题业务会毫无征兆地受到影响。 痛定思痛我们对发生过的线上问题进行复盘分析影响服务稳定性的原因。通过数据发现72%的严重故障集中在第三方服务和基础设施故障对应的一些典型事故场景比如第三方支付通道不稳定、基础设施如消息队列不稳定进而导致整个系统雪崩当依赖方故障恢复后我们的业务却很难立即恢复。 解决方案 基于这些问题我们开展了稳定性建设专项目的很明确提升服务的可用性。目标是逐步将系统可用性从2个9提升到3个9再向4个9去努力。这个过程中最核心的两个策略柔性可用意思是尽可能保证核心功能可用或在有损情况下尽可能保证核心用户体验降低影响另一个是快速恢复即用工具或机制保证故障的快速定位和解决降低故障修复时间。 围绕这两个策略在稳定性建设中的常见操作限流、熔断降级、扩容用于打造系统的柔性可用故障响应SOP、故障自动处理用于故障处理时的快速恢复。而QA的工作更侧重于对这些“常见操作”进行有效性验证。基于经验重点介绍“三把利剑”故障演练、线上压测、持续运营体系。 故障演练的由来 举个真实的案例在一次处理某支付通道不稳定的线上问题时开发同学执行之前已经测试通过的预案服务端关闭该通道预期客户端将该支付通道的开关置灰并会提示用户使用其他支付方式但执行中却发现预案无法生效服务端操作后客户端该支付通道仍处于开启状态。非故障场景下预案功能正常故障场景下却失效了。 这就是故障演练的由来我们需要尽可能还原故障场景才能真正验证预案的有效性。 故障演练的整体方案 故障演练的整体方案主要分为三部分 负载生成模块负责尽可能还原系统的真实运行场景要求覆盖核心业务流程。故障注入模块包含故障注入工具、故障样本库涵盖外部服务、基础组件、机房、网络等各种依赖并重点关注超时、异常两种情况。业务验证模块结合自动化测试用例和各个监控大盘来进行。 为了更高效地开展故障演练我们的策略是分为两个阶段进行。首先针对单系统进行故障演练从故障样本库出发全面覆盖该系统所有的保护预案在此基础上进行全链路故障演练聚焦核心服务故障验证上下游服务的容错性。 故障演练的效果 事实证明故障演练确实给我们带来了很多“惊喜”暴露了很多隐患。这里列举三类问题数据库主从延迟影响交易基础设施故障时业务未做降级依赖服务超时设置不合理、限流策略考虑不足等。 线上压测的由来 面对业务的指数级增长我们必须对系统可承载的流量做到心中有数。对于QA来说需要找到精准、高效的系统容量评估方法。我们碰到的难点包括链路长、环节多、服务错综复杂线下环境与线上差异大等等基于测试有效性和测试成本考虑我们决定要做线上压测而且要实现全链路的线上压测。 线上压测的整体方案 全链路压测的实现方案与业界主流方案没有太大区别。根据压测流程首先场景建模以便更真实的还原线上系统运行场景其次基础数据构造应满足数据类型以及量级的要求避免数据热点之后流量构建读写流量构造或回放同时对压测流量进行标记和脱敏再之后压测执行过程中收集链路各节点的业务运行状态、资源使用情况等最后生成压测报告。 基于全链路线上压测方案可以根据业务需求灵活地进行单链路压测、分层压测等。更为重要的是基于压测我们可以进行线上的故障演练用于更加真实的验证系统限流、熔断等保护预案。 线上压测的效果 通过全链路线上压测一方面让我们对系统容量做到心中有数另一方面也让我们发现了线上系统运行过程中的潜在问题而且这些问题一般都是高风险的。同样列举三类问题基础设施优化如机房负载不均衡、数据库主从延迟严重等系统服务优化如线程池配置不合理、数据库需要拆分等故障预案优化如限流阈值设置过低有的甚至已经接近限流边缘而浑然不知等等。 持续运营体系的由来 智能支付的稳定性建设是作为一个专项在做持续了近3个月的时间在效果还不错的情况下我们从智能支付延伸到整个金融服务平台以虚拟项目组的方式再次运转了3个月的时间。通过项目方式确实能集中解决现存的大部分稳定性问题但业务在发展、系统在迭代稳定性建设必然是一项长期的工作。于是QA牵头SRE、DBA、RD建立了初步的稳定性持续运营体系并在持续完善。 持续运营体系的整体方案 下面介绍持续运营体系的三大策略 流程规范工具化尽可能减少人为意识因素降低人力沟通和维护成本。 如配置变更流程将配置变更视同代码上线以PR方式提交评审代码规范检查落地到工具尽可能将编码最佳实践抽取为规则将人工检查演变为工具检查。 质量度量可视化提取指标、通过数据驱动相关问题的PDCA闭环。 如我们与SRE、DBA进行合作将线上系统运维中与稳定性相关的指标提取出来类似数据库慢查询次数、核心服务接口响应时长等等并对指标数据进行实时监控进而推进相关问题的解决。 演练压测常态化降低演练和压测成本具备常态化执行的能力。 如通过自动化的触发演练报警验证应急SOP在各团队实际执行中的效果。 基于以上三个策略构建稳定性持续运营体系。强调闭环从质量度量与评价、到问题分析与解决最终完成方法与工具的沉淀过程中通过平台建设来落地运营数据、完善运营工具提升运营效率。 持续运营体系的效果 简单展示当前持续运营体系的运行效果包含风险评估、质量大盘、问题跟进以及最佳实践的沉淀等。 未来规划 综上便是智能支付QA在稳定性建设中的重点工作。对于未来工作的想法主要有3个方向。第一测试有效性提升持续去扩展故障样本库、优化演练工具和压测方案第二持续的平台化建设实现操作平台化、数据平台化第三智能化逐步从人工运营、自动化运营到尝试智能化运营。 作者简介 勋伟美团高级测试开发工程师金融服务平台智能支付业务测试负责人2015年加入美团点评。招聘信息 如果你想学习互联网金融的技术体系亲历互联网金融业务的爆发式增长如果你想和我们一起保证业务产品的高质量欢迎加入美团金融工程质量组。有兴趣的同学可以发送简历到fanxunwei#meituan.com。
