网站建设广告宣传,造纸公司网站建设,wordpress支付宝微信,分享到各大网站 代码简介#xff1a; 今天主要给大家介绍一站式数据管理平台DMS以及解决方案的发布。议题包含企业数据管理当前的一些痛#xff0c;DMS一站式数据管理平台以及其核心技术#xff0c;实时数仓解决方案以及相应的应用实践。
“数聚云端智驭未来”——阿里云数据库创新上云峰会暨第…简介 今天主要给大家介绍一站式数据管理平台DMS以及解决方案的发布。议题包含企业数据管理当前的一些痛DMS一站式数据管理平台以及其核心技术实时数仓解决方案以及相应的应用实践。
“数聚云端·智驭未来”——阿里云数据库创新上云峰会暨第3届数据库性能挑战赛决赛颁奖典礼已圆满结束更多干货内容欢迎大家观看峰会直播回放。
峰会直播回放数聚云端 · 智驭未来——阿里云数据库创新上云峰会-技术公开课-阿里云开发者社区
干货PPT下载文件下载-阿里云开发者社区 中国数字经济的占比在持续的提升在企业经营管理过程中行业的头部集中效应使得精细化运营成为一个非常重要的话题那么企业的数字价值挖掘就变得越来越重要。 回看一个企业内部整个数据生产的生命周期包含的数据生产与存储数据的处理和分析以及数据应用但实际上很少有一个平台把这三个方面全部打通做成统一支撑的平台。大部分企业随着各个业务的发展会产生根据业务特点定义的数据存储生产系统企业的数仓分析也大部分是独立建设的在这个过程中如何实现数据系统之间的打通和价值挖掘,就变成比较困难的问题。所以在各个报告里面我们看到在2022年新业务使用实时数据的占比会达到50%以上。 企业在真正实践过程中就会遇到数据孤岛以及管理数据的问题数据库类型非常多数据链路的加工过程就非常复杂维护成本非常高稳定性的问题挑战很大。如何进行多种异构数据的统一管理如何去做安全治理都变成很有挑战的问题。在这个背景下阿里云数据库提出了一站式数据管理平台DMS理念。 DMS统一管理企业的数据资产包括数据库的开发和设计、数据集成与加工、数据开发、数据分析、数据应用整个过程全面打通。从架构图看到底层对接各种异构的数据源在中间沉淀了类似数据血缘数据治理数据编排和任务调度这些都会成为我们中间很重要的数据支撑能力。上层我们会把应用的场景产品化比如数据安全管理容灾/多活能力数据归档、实时数仓构建等等一些能力产品化这样就可以让更多的企业低门槛去使用数据解决方案。 整体技术的架构分三层建设底层基础服务提供数据安全体系数据资产管理的体系开发运营体系。中间的支撑引擎主要分成管控平面和数据平面两个部分控制平面包含任务执行引擎以及稳定变更相关的引擎建设数据平面包含数据结构的迁移全量/批的数据同步以及实时的流的数据同步、数据转换以及多源异构的联邦查询能力。上层是业务功能主要面向像数据安全、数据库的DevOps包括数据集成和数据开发相关的应用场景。 DMS包含了几个重要的核心技术特性主要包括数据资产与安全数据库DevOps能力以及数据集成与开发。 在整个数据资产与安全方面其实最核心构建的是整个全域数据资产管理让企业数据不需要进行物理集中就能够快速找到所要的数据进行数据资产的治理同时能够让数据本身的管理覆盖整个生命周期的安全。 展开两个点来讲一个是数据的知识图谱的构建。我们会把业务数据以及它真正的物理元数据全部都采集回来让业务能够打标用schema matching相关的技术去学习数据之间字段之间的关联关系把业务的逻辑定义和物理定义映射起来。同时业务在使用DMS开发平台过程中会沉淀人员、数据和权限相关的一些关联关系以及业务相关领域的数据标记这些东西会构建成整个数据资产关联关系知识图谱这个知识图谱就可以应用在多源异构的各种数据类型怎么样去根据业务的要求去做一个数仓的宽表那么数据之间关联关系的构建过程中企业的数据工程师就不需要对所有的数据模型非常的熟悉因为DMS能够把这些能力提前的沉淀到系统里面进行选择筛选过滤就得到这个数仓的宽表以及可以通过这个知识图谱的能力能够让企业的数据治理数据安全管理变得更加的可控。 关于敏感数据识别企业内部的所有数据进行统一管理后平台就可以帮你自动把数据进行分级分类在分级分类的基础上可以进行包括GDPR的在内的五种法案的敏感数据自动识别自动发现企业可以使用我们超过15种的脱敏算法在应用生产过程中。我们也提供了安全代理的能力让企业不需要有数据库的账号也可以动态的实现数据的查询和脱敏。 第二个部分的核心能力是DevOps安全和整个开发平台是结合在一起的。我们的整个平台其实有点像workbench是面向开发者的底下对接着非常多的数据源上面提供丰富的开发者开发工具集因此DMS的平台在云上已经有超过10万个周活用户它会帮助用户去做数据库的表结构设计数据变更以及相关的发布。我们提供安全规则引擎它会内嵌在企业数据库开发的整个操作过程中开发者会在一个受控的权限体系里面获得最大的便利性安全和效率得到很好的平衡这是整个设计的核心的理念。 安全规则引擎本质是把企业的结构设计、数据变更、数据导出等等操作和操作的具体对象比如对应的数据库类型每种数据库类型可能都有不一样的最佳实践以及对应的工单人员等等串起来形成操作人、操作动作、操作对象相关的权限映射。阿里内部沉淀了超过两百多的研发规范模板可以默认使用也可以由企业内部根据需求来定义自己的DSL能够很方便的去定义安全规则能力。 在变更部分也实现了变更安全能力变更安全可以理解是企业变更发布过程中的安全能力包括像SQL安全的审核以及正式的SQL执行的过程中对于表结构或者大批量数据操作变成多次的小批量通过SQL自动改写防止源库的稳定性抖动包括表结构的变更的锁表的问题变成不锁表变更等等一些细粒度的变更安全的把控。 再往下其实就是要去发挥数据价值我们重点建设像流批一体这样的数据传输链路包括低代码的开发平台通过多引擎的计算能力的支持来构建整个数据集成与开发的能力。 整个DMS底下的数据传输会基于阿里云底层建设的数据传输服务传输服务DTS是主流云厂商中最早发布的数据传输产品它实现了多源异构数据的实时传输在实时性以及稳定性上面已经经过很好的锤炼。 在结构迁移全量以及增量的整个链路实现了完整的实时数据的传输同时对于半结构或者是非结构化数据也会通过语义的识别元数据的自动构建包括数据类型的自定义去构建数据的快速入库和入仓把这些数据变成可分析可使用的一种数据资产。 整个流批一体的数据架构最主要的是整个体系建设里面使用了Recored Store内存数据处理的模块流和批处理转换一致整个数据加工处理过程变得很简单。 在数据开发者的界面上我们提供了拖拉拽的方式去定义数据的加工流程数据源以及SQL操作的节点数据传输的节点数据转换都变成可以通过拖拉拽去定义。企业的应用工程师、数据库开发者都可以去做这种数据加工定义。 阿里云实时数仓构建解决方案中使用的是库仓一体的技术架构就是数据库和数据仓库是一体化统一管理的技术架构。相比以前很多做数据链路时会把在线数据拉到一个离线存储去计算再把计算结果回流到在线生产系统里面这个流程非常长数据链路和存储成本都会相应的比较高。我们实时数仓构建的解决方案是在你做全量数据初始化的时候不需要在目标端进行表结构的初始化我们在批量数据过程中会帮你把表结构自动在目标构建。做增量数据过程中源端发生任何的表结构变更或者源端的主备切换等变更都不会影响整个链路的稳定性会在目标端实现这个表结构的同步对整个链路自动透明掉。
接下来通过两分钟视频了解DMS实时数仓构建解决方案。如何通过数据来提升生产力成了企业不断探索的方向而数据仓库在其中发挥着关键作用。传统数仓一般基于T1数据集成构建离线数仓以支撑企业各项分析与服务该方案不但会影响线上业务稳定性且难以支持企业高频变化的实时需求企业由此开始建设实时数仓。那么怎样构建一个企业及实时数仓呢接下来为大家介绍如何通过阿里云一站式数据管理平台DMS和云原生实时数据仓库VB引擎来构建与在线系统增删改的延时保持在一秒内的实时数仓DMS支持两种实时数仓构建方案实时数据入仓及基于实时拉链表的T1周期性快照。
其中实时数据入仓支持两种方式。方式一通过DMS实现历史全量增量数据实时同步至ADB 实时数仓。方式二通过DMS数据传输与加工模块进行实时数据加工后写入ADB实时数仓。为了满足业务上对于T1快照数据需求DMS推出了一种不影响线上业务的T1周期性快照方案。下面介绍该方案使用方式。
通过DMS与工单模式可快速搭建基于实时数据的周期性快照既能支持小时/天维度的快照分析也能够支持回溯任意业务时间点进行分析从而支持业务侧按不同时间统计总存款、总余额、总订单额等场景需求。
阿里云实时数仓构建方案相较其他方案提供了如下优势一、数据时效性高且实时链路对业务侧影响小不会因为批量拉取数据影响业务侧正常运行。二、实现库仓一体的一站式数据管理源端运维变更对链路无感知保障多元数据汇聚时效性、稳定性和全链路血缘。三、内置复杂实时数据加工、计算逻辑、处理链路短。四、低代码操作能够大大降低实时数仓的构建难度提升构建效率的同时支撑企业数字化转型过程中的各类实时场景。
下面介绍两个实践第一个案例某汽车厂商使用DMSADB的解决方案来构建数据集市和营销平台。 第二个案例某银行使用DMSADB构建T1数据仓库的解决方案。 原文链接 本文为阿里云原创内容未经允许不得转载。
