宁夏建设厅网站公示,海口网站建设是什么,网站制作公司北京,浙江建筑信息网港一、数据治理中心产品简介
阿里云DataWorks#xff1a;一站式大数据开发与治理平台 架构大图
阿里云 DataWorks定位于一站式的大数据开发和治理平台#xff0c;从下图可以看出#xff0c;DataWorks 与 MaxCompute、Hologres 等大数据引擎紧密配合#xff0c;在数据的 采、…一、数据治理中心产品简介
阿里云DataWorks一站式大数据开发与治理平台 架构大图
阿里云 DataWorks定位于一站式的大数据开发和治理平台从下图可以看出DataWorks 与 MaxCompute、Hologres 等大数据引擎紧密配合在数据的 采、建、管、用 四个关键环节提供了丰富的产品功能是阿里巴巴内部构建数据中台的核心平台型产品支撑了电商新零售、广告营销、本地生活出行、智慧物流、企业智能管理等几乎全部业务板块和企业运营管理的数字化建设工作需要。 随着数据建设的深入我们愈发意识到数据治理是 数据资产化建设、加速数据价值释放 不可或缺的关键工作。在阿里集团内部我们提出了构建 “质量可靠、安全稳定、生产经济、消费便捷” 的数据资产体系的目标并围绕这个目标来开展数据治理工作。在DataWorks中也构建了相应的产品模块和能力进行支撑比如上图所示的“数据质量管理”、“数据资产地图”、“数据安全管理”以及“数据治理中心”等。
企业数据治理实施的典型痛点
数据治理的工作在很多企业已经广泛开展或正准备开展数据治理实施有以下四个方面的典型痛点
数据治理入手难 开展数据治理工作通常会参考DAMA或者DCMM理论体系可以发现数据治理涵盖内容极为广泛。从哪里优先入手以什么样的路径来推进这是企业进行数据治理工作首先要回答的问题。数据治理的目标和执行路径不清晰是第一个典型痛点。数据治理落地难 无论是企业内部自发地开展、还是请专业的咨询机构构建出数据治理咨询方案、产出一些列的规范和管理办法后往往只能停留于纸面没有恰当的治理平台工具来支撑落地这是会面临的第二个典型挑战。数据治理成效的可视化不足 如何客观地评估治理、将治理成效量化、可视化。当这个工作没有做好时治理的推进难度会显著加大。数据治理工作不可持续 数据治理的工作容易陷入“运动式治理”通过集中的突击、在一段时间内看到一定的效果。但如果不融入到日常的数据开发生产链路中去这项工作就不持续不能长久地、从根本性地解决治理的问题。阿里巴巴实践的数据治理体系
在数据质量管理、元数据管理、数据安全管理等细分领域的工作完成之外阿里巴巴集团创新地构建了如下一套全集团通用的数据治理体系从 计算、存储、质量、安全、模型和成本等多个维度进行治理切入采用统一的方法和策略构建量化的评估模型并使用统一的治理平台工具来承接落地取得了显著的成效。 这套体系同有几个关键要点
首先明确治理的核心对象是与ETL作业中相关的任务和表。数据治理是治理客观的对象不是治理人。但治理实施的一个关键前提是对任务和表这些基本对象的确定归属梳理并定义清楚对象的具体负责人来确保治理问题有着落、有跟进。通过具体到人进而汇聚到部门、到全集团整体其次数据治理采取的实施路径是 “现状分析 - 问题定位 - 优化治理 - 效果评估”构建一个闭环流程最后数据治理的核心要落在量化上将问题量化、将成效量化。并基于局部的明细给出全局的决策建议比如为全集团的资源调配、各部门的预算制定、成本优化目标的设定等提供参考。并且这些量化的评估和治理问题的发现、修复都会通过一个统一的平台工具来承接。
这套在阿里巴巴内部多年实践证明行之有效的方法和能力现在以产品化的方式正式对云上客户提供服务这就是 DataWorks数据治理中心 这一全新产品模块。 数据治理中心基于治理问题驱动构建了一个 治理量化评估 - 问题发现/预防 -治理问题的优化处理 的闭环提升机制。基于事前预防、事后整治相结合的方式提供了几大核心产品功能。这里要说明下我们将这个“事前”、“事后”的“事”定义为 数据平台中ETL作业的正式数据生产 这一个环节。
数据治理中心通过检查项的功能可以做到在任务的提交、发布等关键环节对于SQL代码的质量、性能消耗等进行自动扫描和检查卡点来预防新问题的引入。这个有点类似于编译和优化的提示。当前面临的一个现实问题是数仓、数据中台的建设可能已经进行了较长时间会存在许多存量的问题需要优化治理。数据治理中心的治理项功能就是为此而设计可以发现系统中存量的需要优化的问题并给出对应的解决办法。与检查项一样这也是一种全自动的方式。数据治理中心最具特色的或者说是阿里巴巴内部数据治理实践的特色是这套量化评估机制。基于治理“健康分”的概念从“计算”、“存储”、“质量”、“安全”和“研发”五个基础维度进行量化评估进而给出整体的治理健康度评估。便于治理实施前了解现状、同时也会数据治理实施后的成效提供客观评估。此外数据治理中心在成本优化治理方面也提供了资源使用分析等一系列的产品能力可以清晰了解单个任务、单张表粒度的的资源消耗、费用预估以及资源异动情况帮助公司有针对性地进行计算和存储的优化治理来达成降本增效的目标。
DataWorks 数据治理中心 产品架构全图 数据治理中心本质上是一款由元数据驱动的数据应用产品大致可以分为数据层、应用层和管理运营层。
数据层是整个产品模块的关键基础数据治理中心汇聚了任务、表、模型、数据服务API等一系列的对象的元数据信息并构建用以分析洞察的元数仓来支撑上层的治理应用。治理应用层数据治理中心的主体功能所在。基于内置的方案模板提供用于事前问题自动预防、事后存量问题的自动发现以及对应的优化处理指南等系列的功能。资源使用分析是面向成本治理构建的产品能力包含资源的明细和异动分析等以及规划中的资源智能优化建议。对象360用于汇聚展示对象的全景信息尤其是需要治理优化的问题并全生命周期追踪对象的事件变化情况等。标签体系作为额外的支撑体系便于有效的对任务进行类型打标区分然后进行集中式的治理。场景化治理是基于PDCA理念构建来帮助按照业务需要灵活圈选需要治理的对象、评估现状、设定治理目标并有效监督治理实施进度最终来达成治理落地。管理运营层数据治理中心核心服务于数据治理管理员以及数据治理具体参与的一线同学两类用户群体。在管理运营层提供了治理评估报告、治理健康分、治理排行榜和治理运营推送等一系列功能。
DataWorks 数据治理中心 概要使用路径 数据治理中心的使用概要可以分为现状评估、治理实施和治理运营成效查看三个环节
数据治理现状评估
数据治理中心提供了内置的模板功能将在阿里巴巴内部的实践和服务外部客户过程沉淀下来的最佳实践以模板的方式封装提供开箱即用的能力。选定模板、开启产品模块后即可使用数十种丰富的治理项和检查项并查看整体的治理评估报告也就是治理的健康分评估。
开启产品模块之后可以看到治理的评估报告。数据治理中心会提供 租户全局、单个工作空间以及具体个人 三个视角的报告覆盖 研发、质量、安全、计算和存储 五个维度给出量化的具体评估。最关键的一点对于不同的工作空间、不同的个体这个评估模型采用的是同一套标准保证评估的客观一致性。这份报告可以作为治理工作正式开始实施前的一个基础参照。 数据治理健康分评估模型
数据治理健康分基于治理项发现的问题、按照定义的模型计算得出。采用的扣分逻辑为满分100分通过内置的算法模型按需要治理问题减掉扣分后得到健康分。
数据治理中心 细分了 研发、质量、存储、安全、计算和存储 五个维度的单项健康分并综合后计算得出整体健康分。这个逻辑可能看起来并不复杂复杂的在于底层元数据获取、加工构建、治理问题洞察。 数据治理实施问题预防、发现和优化
需要使用到检查项和治理项检查项面向事前治理问题预防它会侵入日常任务的提交、发布等环节如果检测不通过会阻塞流程这个功能是默认是不开启的需要按需开启并可以控制特定的工作空间启用特定的检查项。治理项面向事后治理问题发现这个功能不需额外设置、启用模板后即可生效。
治理问题的处理优化-自动预防检查项
检查项开启后可以作用在某一个具体空间在任务提交或发布环节能够自动触发扫描。 当前数据治理中心内置模板提供数十种检查项开箱即用其余检查项也在随着在阿里巴巴集团内部沉淀以及依据客户的反馈在逐步丰富中。 基于DataWorks开放平台自定义拓展检查项
如果系统内置的检查项不能完全满足您个性化的需要我们还提供了基于DataWorks的开发平台来灵活的扩展的机制。检查项的扩展核心需要使用开放事件、扩展点和扩展程序的功能。基于这套机制可以自定义开发个性化的检查器然后注册到数据治理中心和内置的检查器进行统一的纳管和使用。 治理问题的处理优化-自动发现治理项
事后治理使用到的是“治理项”的能力治理项和检查项不同治理项在模板启用后是自动开启的。系统会自动扫描出需要治理优化的问题并提供相应的处理指南、指导对问题进行优化。 与检查项类似数据治理中心通过模板的方式在存储、计算、安全、质量和研发五个维度共内置了43个治理项这些都是阿里巴巴内部实践和客户需求沉淀而来开箱即用。 数据治理的长效运营机制
在阿里巴巴内部数据治理的演进中能看到三个明显的方向分别从组织、平台、业务三个方向来描述。首先数据治理不单纯是大数据团队一直在搞技术、建平台它更多的是一个组织协同的问题会跨越过原先单技术团队到影响到公司整体的架构设计如下图左侧有数据平台团队有业务团队还有财务、风控等协同团队。涉及到跨团队对于整个组织来说一个很头疼的问题就是如何来衡量效果如何更好地发挥组织的主动性在企业内部做治理经常会发现有一个很好的规范但是没有平台来落地。在阿里巴巴内部这是设计治理健康分的一个很大的出发点。对于某个BU来说比如今年的目标之一就是把健康分从70分提升到80分可以从计算、存储、研发、治理、安全等各个方面入手有什么需求可以提给数据平台团队将这些能力都沉淀到平台上目标大家一起来共背。通过这种方式各个团队就会有一个统一的考核指标来指引进行数据治理的工作。在长效推进上我们会启动各类的数据治理战役各个业务团队之间的治理成效比武等等长效的运营工作也可以通过健康分做不断地延展达到组织数据的协同的目的发挥数据治理组织的主动性。 就具体数据治理成效而言作为承接数据治理中心会将存储的节约、计算的节约风险的预防、问题的修复等清晰地量化统计展示以及与之对应的健康分提升等这些具体的治理效果给清晰地展示出来。 数据治理中心也着眼于将 数据治理 从 小部分人的工作 转变为 有良好群众基础和参与度的普遍性的工作。数据治理排行榜可以让治理参与同学清楚感知其所处的位置让优秀的得到表扬不足的得到鼓励同时面向治理管理员和普通同学提供不同的视角让其清晰了解治理健康度水平和需要优化的问题有的放矢地进行优化治理。 二、成本优化治理最佳实践 我们来看一个成本优化治理的具体的案例。这个案例中我们的客户使用DataWorksMaxCompute产品组合来构建离线数仓MaxComputes使用后付费模式随着业务高速发展费用出现一定程度的不可预估。客户提出的成本优化治理诉求是在支持业务发展的大前提下降低整体成本30%并且对SLA有高保障要求进行成本优化治理时不能降低对业务数据产出时间的承诺。我们采取了三大类的优化治理措施达成了整体成本下降了35%、数据生产的SLA依旧保持稳中有升的目标。
措施一针对存量问题优化治理下线任务和表减少资源浪费
1、利用 资源使用概览 功能查看计算/存储/调度/同步资源消耗异动针对性优化。 2、利用 资源使用明细 功能根据作业SLA容忍度以及消耗CU倒排进行调度错峰。 3、利用 任务360功能查看特定任务可优化治理的具体问题并进行处理 4、利用 治理工作台功能检查可优化治理的任务的全貌并参照处理指南进行优化 成本优化可以重点关注数据治理中心提供的如下检查项和治理项
检查项分区表查询必须带分区检查项禁止简单加治工治理项持续导入一致治理项导入为空治理项同源导入治理项连续出错节点治理项空跑节点治理项无人访问叶子节点治理项SELECT无效调度治理项暴力扫描治理项输入为空治理项输出为空治理项未设置生命周期治理项长时间未访问表
措施二MaxCompute项目后付费转预付费使用二级Quota实现降本 MaxCompute的资源有“后付费”和“预付费”两种付费模式。其中“后付费”模式以其灵活的资源分配策略、能及时满足大任务对资源使用诉求的高保障、加速任务产出时间被广泛使用但是“后付费”模式存在一个问题就是无法从全局对费用进行提前规划和整体控制容易出现预期之外大额账单。对照而言“预付费”模式支持购买固定额度的资源更便于整体控制预算。所以当前有较多的从“后付费”转“预付费”的诉求来实现对整体预算的可控和成本的精细化优化。后付费转预付费是一把双刃剑。毕竟预付费模式购买的额度是有上限的可能会影响任务的产出完成时间。转换前需要事前了解项目的特性比如是否有资源突发使用的情况资源使用的高峰值和低峰值为多少要进行全面的摸底。数据治理中心提供了后付费模式下将资源使用折算成预付费模式的CU消耗趋势值可以作为转换购买CU值的参照经验值建议为趋势图峰值的 1.2倍 到 1.5倍。如果期望转换但又没有把握购买多少CU合适也可以联系我们协助进行容量评估。
后付费转预付费后充分使用MaxCompute二级Quota组的功能能有效地帮助进行资源的优化调配有三点实践经验分享
强隔离设置资源组的 最小保障量 最大保障量确保资源的分配。比如下图中的“算法组”。这个适合在夜间作业高峰时段对于需要强保障的项目进行设置。资源倾斜如果设置 min max则该Quota组空闲时其它Quota组可以占用资源。这种方式可以提供较好的灵活弹性。使用Quota组分时的功能通过分时设置可以有效平衡在夜间高峰生产作业的资源分配和白天分析查询项目的资源诉求从而降低整体的CU购买峰值。
此外有两点需要特别注意
1、需要梳理作业的优先级、对高优作业配置DataWorks基线监控来保障资源的优先分配如果系统推测关键任务预计会出现产出延迟可以提前发送告警通知为处置留出足够的提前量。
2、转预付费后MCQA查询加速资源需重新规划如果有使用这个功能需要特别留意。
措施三面向补数据场景灵活使用usequota特性让资源消耗可控 补数据也就是回刷数据的功能在算法实验场景下使用非常多。通常如果一个模型验证效果很好算法同学往往需要回刷一个礼拜、一个月、甚至半年的数据。算法作业有个典型特点的扫描数据量极大但对于完成时间的SLA要求相对不高比如一天之内可以完成即可如果使用后付费模式按照扫描数据量正比的方式收取费用会带来非常高的成本开销。下图左侧示意了这种情况周期调度任务的费用拆分开来看是相对平稳可控的但是补数据费用的不确定性带来了整体成本的一定程度的不可控。针对这种场景MaxCompute提供了 use quota 的新特性将作业指向一个特定的预付费Quota组限定一个较低的CU上线既能保障任务的运行完成又可以有效地控制费用。针对周期调度任务原则上不建议使用 use quota 这种方式对于SLA会带来较大的影响需要仔细评估后再使用这种方式。至少配置上基线监控以便能提前预知任务产出出现延迟的情况。
三、数据治理中心未来规划
数据治理立足降本增效的核心诉求围绕治理问题的自动预防和治理演进提升治理问题的处理效率。
功能建设
基于阿里内部和Dataworks客户最佳实践持续丰富内置的治理项和检查项让治理问题得以更全面地发现和预防为任务下线、表删除等治理操作提供优雅处理方案解决治理风险顾虑提升问题优化治理效率和处置完成率持续夯实资源使用分析洞察功能切实帮助控制不合理的资源使用花费拓展支持的引擎类型从只支持MaxCompute到支持EMRHive、Hologres等更多引擎类型提供面向不同行业的最佳实践和行业模板
产品商业化
全面开放 2022年7月提供一个月限时免费体验无版本限制产品收费 2022年8月ETA作为企业版的核心功能特性不额外单独收费DataWorks增值版本计费与说明
分享人阿里云智能 产品专家 唐晨
原文链接
本文为阿里云原创内容未经允许不得转载。
