网站开发页面设计报告,注册域名的网站有哪些,网站小样用什么做,黑龙江建设网站招聘背景 毋庸置疑#xff0c;质量是决定产品能否成功、企业能否持续发展的关键因素之一。对于“质量时代”下的互联网企业#xff0c;如何在快速迭代的节奏中兼顾质量#xff0c;真正落地“人人重视质量、人人创造质量、人人享受质量”#xff0c;这是对QA的要求#xff0c;也… 背景 毋庸置疑质量是决定产品能否成功、企业能否持续发展的关键因素之一。对于“质量时代”下的互联网企业如何在快速迭代的节奏中兼顾质量真正落地“人人重视质量、人人创造质量、人人享受质量”这是对QA的要求也是整个产品技术团队面临的重要挑战。 质量运营是将运营的思路注入到质量评估与改进工作中它着眼于产品的全生命周期以质量为中心以数据为驱动通过建设持续迭代的质量保障体系最终提升交付质量。本文将聚焦研发过程中的提测阶段以改进提测质量为例从方案制定、策略应用、效果评估等几个方面介绍质量运营在智能支付业务中的初步应用。 挑战 美团点评智能支付承担了整个公司所有线下交易当前日交易量已经突破1000万单是公司继外卖和摩拜之后又一个千万级日订单的业务。业务高速增长、团队快速扩张的情况下质量问题极易被放大化如果不能及时得到处理后续解决成本会越来越高。 存在的痛点 刚参与智能支付业务测试时遇到的几个问题如下 缺陷严重级别高提测打回时常发生如核心功能未实现或实现与需求不符。缺陷数量多定位、修复、回归耗时长如越在上游引入的缺陷修复的成本就越高潜在的风险也越大。各类低级缺陷团队彼此间的信任度降低如文案错误、变量引用错误等编码大意导致的低级缺陷。解决的难点 在尝试去改善时发现难以推动的几个问题如下 对暴露出的质量问题如何更直观的在认知上达成一致如收到过很多类似的问题反馈“xx的缺陷太多了质量意识差”、“xx项目存在很大问题需要尽快改进”即使是基于事实得出的判断这种偏主观的表达方式对问题达成一致的认知带来很大的困难。对已公认的质量问题如何更快速的进行分析和定位如缺陷发生在测试阶段但缺陷的引入可能是在需求阶段、设计阶段、开发阶段某个时间段内的异常质量数据可能是A项目或B项目可能是C团队或D团队。问题类型细分、数据钻取能力等等在问题的快速分析和定位中至关重要。对已定位的质量问题如何找到可以落地的改进措施如项目总结中常常会见到类似这样的描述“加强自测”、“严格遵守项目流程”、“文档需要写的更详细些”这种偏“形容词”的改进措施很难实际操作这也是整个质量改进过程中最大的一个难点。思路 质量改进是一个持续迭代的过程不可急于求成。按照质量运营的方法基本思路为分析痛点找到抓手持续运营形成闭环。 基于提测阶段的质量问题特征从痛点和难点中寻找突破点。大致思路为 目标应达成一致质量改进的目标是QA的KPI并应该与关键干系人在愿景、目标上达成一致。问题的客观呈现提取核心度量指标通过有效数据和典型案例说话。数据的灵活钻取尽可能全的提供各种维度的数据并分层级展示。改进措施可落地对措施的多方Review、流程标准化到工具化的演进。解决方案 解决方案的重中之重是务必遵循PDCA来实现运转方式的闭环。具体如下 确定问题与方向 通过痛点描述可知缺陷是反映智能支付业务当前提测质量的最显著特征。提测质量的进一步分析可通过缺陷的数量、缺陷的严重程度、缺陷的生成原因三个方向来展开。 缺陷数量 缺陷数量具体说明缺陷总数指定统计规则下缺陷的数量仅包含项目过程中提交的缺陷缺陷的严重程度 严重级别具体说明使用范围致命-Blocker影响核心功能的缺陷缺陷导致核心业务流程不可用或产生较大影响严重-Critical造成较大影响的功能性缺陷缺陷导致核心业务流程受影响或导致非核心业务流程不可用一般-Major影响较小的功能性缺陷缺陷导致非核心业务流程受影响或导致用户体验类的问题提示-Minor非功能性缺陷如不影响正常功能的UI错误、无重大歧义的提示错误等建议-Trivial优化建议非严格意义上的缺陷一些可优化的点缺陷的生成原因 生成原因具体说明实现与文档不符RD实现与需求文档描述不一致需求缺陷需求文档中缺少相应描述需求变更技术方案考虑不足前后端接口定义不一致对边界、异常场景考虑不全等环境问题被测服务不稳定服务器或测试设备配置等引起的问题第三方依赖依赖的外部系统引入的问题如用户中心等兼容性不同设备上出现的功能或展示异常类的问题性能问题服务端性能响应时间过长、CPU过高、GC频繁、没有分页、没有缓存等客户端功耗包大小、冷启动时间、流量、内存泄漏OOM、加载时间、耗电量安全问题XSS注入SQL注入等Bugfix引入由于修改Bug引入的缺陷不是缺陷无效Bug不能复现度量指标及标准 针对缺陷的三个分析方向提取出可度量的指标、定义合理的标准值并与整个团队达成一致。 指标提取策略 典型性找最想要解决的问题。不追求全面只针对Top问题提取指标如生成原因里最应该避免的是哪些。找最能反映问题的指标。如缺陷数量有众多度量指标新增数量、人均数量等等为排除工作量影响我们选择用千行代码缺陷率这个指标。有效性除非对绝对数量有明确要求否则尽量使用百分比作为度量指标。指标数据的计算方式要求简单易懂并务必得到相关人的认可。标准制定策略 基于公司统一要求如Sonar千行代码严重问题数统一标准为低于0.1。基于公司各业务现状如缺陷相关指标按照公司各业务部门排行取Top5的值作为标准线。基于自身业务阶段持续调整如随着智能支付业务质量的持续改进定义更严格的质量标准。最终定义的指标与标准 度量指标指标说明标准值千行代码缺陷率缺陷总数/代码行数* 1000移动端 0.45前端 0.2后端 0.15Sonar千行代码严重问题数Sonar严重问题数/代码行数* 1000Blocker0总数 0.1严重缺陷占比严重缺陷总数/缺陷总数 3.5%需求缺陷占比需求缺陷总数/缺陷总数 10%实现与文档不符缺陷占比实现与文档不符缺陷总数/缺陷总数 10%获取数据并展示 基于Metrics美团点评工程质量中心提供的度量平台能够快速的获取数据并展示。但要注意部分指标的计算需要对Metrics提供的数据进行二次处理以保证数据的精准性。如在计算千行代码缺陷率时需要排除掉开发自测缺陷等。 对于数据的展示形式除了利用Metrics提供的各种图表外最为关键的是要实现数据与问题相关缺陷的可关联以便进行下一步分析。如下图所示通过超链接方式进行关联 制定计划并改进 改进措施的制定和实施是整个质量改进过程中的重中之重。基于经验给出三个策略。 自上而下与自下而上相结合 自上而下通过有效数据、典型案例建设可信任的结果评估体系以此为基础利用每一个问题数据在Leader层强化质量意识借鉴向上管理的思路实现质量改进的向下驱动。自下而上通过案例复盘、数据钻取对问题进行明确定位让问题方基于工具即可将问题下沉到具体项目或具体角色进而推进可落地的过程改进并持续利用结果评估体系衡量改进效果实现质量改进的向上闭环。 多维度的数据聚合与分析相结合 周维度数据聚合对周数据中的异常进行分析并排除掉因周期偏短导致的数据噪点重在对问题进行风险预警。月维度数据聚合对月数据中的异常进行分析并结合数据的变化趋势重在对问题进行确认和改进。周维度和月维度相结合构成了质量管理中的问题发现与改进周期。季度维度数据聚合对季度数据的分析重在得出对质量目标的完成度并给出质量评分并对过程中的问题进行回顾和总结构成了质量管理中的考核周期。 流程的标准化与工具化相结合 在改进提测质量的初期阶段对于流程的优化经常出现在各个项目总结的改进措施中但大多是通过意识、模板或者口头提醒来实现这无疑增加了流程的接入成本、执行难度进而降低了流程的约束力。借鉴在制造业中常见的一种解决思路——“防呆措施”在流程标准化之后应尽可能将其工具化提升流程的生命力。 防呆措施的目的之一是防止不符合流程的产出物交付到下游。将防呆措施应用到提测流程即应实现各项准入标准的自动化检查类似如下提测时校验 回顾与反馈 主要从时间维度、项目维度两方面开展。 时间维度各类周会、双周会、季度总结对质量数据进行Review。项目维度重在项目复盘。复盘可以看成PDCA环和环之间的连接有了它PDCA才能环环相扣、周而复始。迭代与推广 若改善有效则进行推广。若改善无效则分析原因修改计划重新启动另一轮PDCA。 指标与标准的持续迭代如过程中对Sonar千行严重问题数的标准由0.1提升到0。度量模型与方法工具的推广如质量报表、Sonar在PR时触发检查不通过不允许Merge、提测准入自动化等等在其他业务的推广。效果 对于效果的评估主要从三方面进行说明。 质量数据的关注度质量指标的达成度过程质量改进对迭代效率的提升效果质量数据关注度 主要体现在团队各方对质量报表的使用率。以下三张图分别为智能支付QA、智能支付RD、智能支付RD Leader对质量报表的使用率走势。 质量指标达成度 对质量指标的达成情况进行说明其中初始值为16年Q4的情况。 度量指标初始值标准值目标完成度千行代码缺陷率移动端0.7前端0.25后端0.3移动端 0.45前端 0.2后端 0.15整体达标但存在个别方向缺陷率较高Sonar千行代码严重问题数Blocker 0总数0.2Blocker0总数 0.1达标严重缺陷占比14%左右 3.5%达标需求缺陷占比18%左右 10%达标实现与文档不符缺陷占比 10% 10%达标但有升高趋势接近标准值近几个Q的变化趋势如下 迭代效率提升效果 以客户端方向为例之前过程质量存在较严重的问题说明过程质量改进对迭代效率的提升效果。 总结 经过一段时间的摸索和实践我们在提测质量上有了较明显的提升过程中积累的方法、流程和工具也在推广使用。但提测质量只是全生命周期质量运营的一小部分对于高速发展的智能支付业务不仅要求整个质量保证体系的迭代优化更要求全体成员不断提升质量思维、持续追求极致质量进而形成一种质量文化真正实现“人人重视质量、人人创造质量、人人享受质量”。 作者介绍 勋伟美团点评高级测试开发工程师金融服务平台智能支付业务测试负责人2015年加入美团点评。招聘 如果你想学习互联网金融的技术体系亲历互联网金融业务的爆发式增长如果你想和我们一起保证业务产品的高质量欢迎加入美团金融工程质量组。有兴趣的同学可以发送简历到fanxunwei#meituan.com。
