如何建网站赚取佣金,企业网站的在线推广方法有,艺考有哪些专业,中国门户网站建设重要性术语 数据资产#xff1a;数据资产是具有价值的数据资源。没有价值的数据资源#xff0c;通过采集#xff0c;整理#xff0c;汇总等加工后#xff0c;也可以成为具有直接或间接价值的数据资产。传统企业逐渐数字化转型#xff0c;尤其是互联网企业#xff0c;都十分重视…术语 数据资产数据资产是具有价值的数据资源。没有价值的数据资源通过采集整理汇总等加工后也可以成为具有直接或间接价值的数据资产。传统企业逐渐数字化转型尤其是互联网企业都十分重视企业的的数据资产。这些数据通过大数据处理提供给商业智能化或人工智能等使用会给公司带来直接或间接的经济效益。这些数据资产通常的表现形式诸如关系型数据库数据库如mysqloracle等的结构化库表数据也包括大数据数仓如hive,hbase,hudimongodb,es等结构化与半结构化的数据。 CU矩阵: CU矩阵中的C指create创建U指use使用的意思。可以用来标记一个数据相关联的重要的两个属性。例如Hive表数据的创建者以及Hive表的使用者。创建者可以是多个使用者也可以是多个创建者和使用者可以相同也可以不同。 PO矩阵PO矩阵中的P是指过程例如数据的生产过程O是指组织如企业内部的某个部门或某个小组。PO矩阵可以用数据在生产过程中经过哪些组织与哪些组织产生关系。 RD矩阵RD矩阵中的R是指resource资源D指data数据。RD矩阵可以指出在生产使用数据过程中要是用到哪些资源。这样可以对数据的生产成本使用成本可以进行评估。 IPO图在企业业务团队使用数据进行生产任务的过程中分析每个过程的输入数据类输出数据类。并且与RD矩阵进行调整。最后总结出整个生产链条涉及系统的数据类。形成一张链路图。可以对重点任务重点数据类进行标记。
背景技术 随着传统行业积极主动的向数字化转型以及互联网行业的业务不断拓展。像金融社交媒体视频网站电商零售传统房地产车联网企业制造业工业互联网等每天都产生大量的数据这些数据就像水一样处理的好会成为一种力量能源帮助公司的业务能够朝着正确的方向更好更快的前进处理不好也会像洪水那样成为一种泛滥灾难会给个人企业甚至社会国家制造巨大的损失。 既然数据是一把双刃剑怎么样收集处理用好这些数据。使其真正成为企业的数据资产而不是负债。就需要一套完整系统的方法对现有的数据进行价值分析评价的方法甚至形成一套系统的自动化的进行数据资产的分析方法与系统工具。进而更好的管理数据利用数据为企业创造更大的价值。 在进行数据资产管理的时候很多场景都需要明确知道数据的生产者使用者。以及数据的生产过程涉及的部门数据生产与使用成本。数据资产管理涉及对数据的复用生产数据资产成本分析数据资产评级等形成系统化的功能后可以总结并开发出数据资产管理相关的系统或产品。 现在企业做做数据资产管理的时候大多会集成到数据中台。数据中台可能会存有有整个公司的业务数据。会有数仓相关建设。数据收集清洗加工。然后存到Hive,hbase,hudi,或kafka等hadoop相关生态系统大数据体系。数据中台提供存储计算相关平台。给业务BI,人工智能等相关部门使用。在对数据资产进行管理的时候往往需要集中的元数据管理系统。但是元数据管理系统不能仅仅只局限与采集展示一些基本信息如mysql,Hive的库表列分区等信息以及表的血缘字段的血缘。元数据还应该展示关联更多业务相关打通与业务元数据操作元数据之间的关系。提供丰富有意义的数据资产相关的一些图形化展示api查询数据分析流程等相关能。 在分析数据资产进行数据治理的时候可以借助开源软件例如Atlas通过采集元数据相关信息建了数据的血缘关系图。通过分析血缘关系来分析数据资产以及进行数据治理等工作。 在系统化的分析数据资产的时候我们可以借助信息系统规划中的各种矩阵。如CU矩阵图RD矩阵图PO矩阵图IPO矩阵图等工具来分析数据资产。
现有技术
Atlas等开源软件采集hivehbase等表的血缘关系图展示数据的表与表的关系。
现有技术实现方案
Atlas等开源软件提供了表的血缘关系图这些血缘记录了表与表的关系。下游表关联了上游表。Atlas的血缘关系图以信息节点的方式展示数据流转路线。数据流转的线路在血缘图中经过节点从左到右。一个数据节点可能有多个父节点父节点上游表示输入。可以有多个下游表示数据的使用。Atlas的血缘关系图对数据溯源数据价值评估数据质量评估数据的归档或销毁提供参考。Atlas提供统一数据模板将按模板导入的数据构建可视化的血缘关系图。
现有技术缺点
Atlas血缘关系图信息节点展示了数据与数据之间的应用关系没有完全识别数据的生产者消费者。这种关系图一般只能一次直观的查看一个表数据的上下游关联关系。Atlas血缘关系图对数据的加工过程涉及到的组织部门没有进行分析展示。Atlas血缘关系图对数据的输入处理工程输出的展示是信息节点具体就是到表但是具体的输入怎么处理没有明确的标识。Atlas对数据价值数据质量的评估还比较粗略。不能通过成本分析使用的重要性关联组织部门等维度进行进一步确认分析。而且在做数据成本计算并将数据成本分别计算分摊到使用人员以及使用部门的时候找不到相关组织部门。进行数据治理的时候Atlas血缘关系图只能提供数据的上下游是否有节点下游是否有在使用。但是无法关联使用者数据的重要程度数据的加工逻辑。
作者自研技术方案
设计方案框图 如上图所示为本发明的设计方框图需要注意的是这里只列举了整个设计的大致流程图。 先分别采集数据资产相关元数据如数仓Hive,或者mysql等的库表列存储CPU耗时带宽流量等元数据以及数据的加工过程涉及业务组织部门输入输出报表等业务元数据存到Mysql。然后计算数据资产的CU矩阵图RD矩阵图PO矩阵图和IPO矩阵图。然后分别计算数据资产的可靠度使用权重成本值部门关联度过程复杂度输入产出值等指标。进而可以对数据进行数据归属的溯源数据流转路线分析数据价值评估数据质量评估数据归档销毁参考等数据相关的治理。
设计方案流程 数据采集 数据采集有很多种方式很多途径也有很多数据源。包括数仓的Hive,hbase,kafka等元数据包括库表字段存储等元信息。还需要采集业务相关的元数据如数据的加工过程涉及到的部门组织数据的输入输出。创建者使用者等归属信息。 对于hive元数据的采集可以用Hive-metastore相关接口或编写hive-metastore-listener监听器批量采集或实时的监听采集Hive元数据。或者hive-hook采集hive执行的sql建立表与表的血缘关系数据。或人工批量维护导入的方式进行采集。 对于hbase的元数据可以分析hbase的zookeeper数据或者使用hbase的Admin的相关api进行采集。也可以人工进行维护导入。 Kafka的元数据采集可以使用kafka提供的管理相关的api进行采集或者人工维护导入。
对于业务元数据的采集则需要各个业务部门提供相关的API进行业务元数据的采集。最终将业务元数据也数据资产元数据进行关联。 数据计算与输出展现方式 元数据采集完毕将数据资产元数据与业务资产元数据进行关联。计算得到数据资产相关的CU矩阵图RD矩阵图PO矩阵图以及IPO矩阵图相关数据。 这些数据可以存到hbase,例如存放表与表的血缘数据业务过程与业务过程的血缘数据。或者存到mysql例如数据的归属信息使用者信息过程相关的组织部门信息数据的CPU,存储网络流量带宽人力成本等相关信息。 可以分别通过数据的CU矩阵图计算可靠度使用权重指标通过数据的RD矩阵图计算成本值指标通过PO矩阵图计算部门关联度过程复杂度指标以及通过IPO图计算输入产出值过程复杂度等指标。 提供按照不同维度不同指标不同排序方式等查询统计的相关API接口可以供页面或其他第三方调用。根据相关指标对数据资产进行全方位精准化分析。方便的数据进行管理与更好的利用数据产生价值。
其中具体的数据计算与展示方式列举如下
数据的CU矩阵展示 如上图所示展示了SYS库下18张表的CU矩阵的可视化图。每个表格是一个表对象。红色部分表示创建者蓝色表示使用者。当创建者越多红色的颜色就越深。使用者越多蓝色的颜色就越深。当鼠标移动到表格上自动展示表的一些元信息如表名创建者使用者。其他信息。在整个矩阵可视化展示中我们可以按照颜色的深浅由浅到深从左上角到右下角排序展示。这样可以快速直观的找到一些使用较多创建者较多等比较重要的表。可以直观快速的可视化查找。
数据可靠度计算方法 基于CU矩阵数据的可靠性假设取值为R,RCOUNT(U)-COUNT(C)。即数据可靠度等使用者数量-创建者数量。理论上当R值越大我们觉得可靠性越大。当使用者越多的时候数据的价值越大。在考虑数据归档下线的时候也可以考虑该值是否造成很大影响。 除了标记创建者使用者我们还可以通过创建者使用找到对应的部门。标记创建者的个数使用者的个数外还可建立表的血缘关系。 如上图所示标记数据创建是否有来源表以及下游使用该表数据的表。该图展示了数据表与表的血缘关系的血缘C/U矩阵图表sys.user_info的来源表有2个关联的下游表有6个。
数据使用权重计算方法 基于CU矩阵数据使用权重DW下游表个数上游表个数。权重值越大说明与数据的关联越多。当下游越多的时候数据的价值越大。在考虑数据归档下线的时候也可以考虑该值是否造成很大影响。
数据的PO矩阵展示方法 如上图所示展示了表ods.user_ops的PO矩阵图。该数据涉及到4个过程分别是用户填写生产风控审批验证存入业务系统采集ETL到数仓。涉及的部门分别有业务综合部门营销研发部风控研发部大数据研发部。其中每个部门对应到自己所对该数据的处理过程、有关联则打勾。
数据部门关联度的计算方法 基于数据的PO矩阵计算数据的关联度R有关联过程的部门个数相加。可能一个过程关联多个部门也可能一个部门。当R值越大说明关联度越大。这种数据需要引起高度重视也是十分重要的数据资产。
数据过程复杂度的计算方法 基于数据的PO矩阵计算数据的关联度R过程数*有关联过程的部门个数相加。当复杂度越高。说明处理过程越多则这种数据资产流转部门越多。
数据的RD矩阵展示方法 如上图所示展示6张表RD矩阵图可以按照成本细化进行排序。对CPU耗时存储耗时(数据是有生命周期的就耗时值数据存在多长时间暂用了多少存储)网络带宽网络流量人工耗时。这些成本以后可以用不同的单位对成本进行统计。
数据成本值的计算方法 基于数据RD矩阵最终数据的成本我们假设为P计算公式如下PC*cuS*suB*buF*fuM*mu(其中我们把P定为总成本价格C为cpu耗时cu为cpu耗时单价S为存储耗时su为存储单价B为网络单宽bu为带宽单价F为网络流量,fu为流量单价M为人工耗时mu为人力单价)。 如上图所示RD矩阵图还支持按每个加工过程进行细化。其中加工过程可以关联PO矩阵图找到对用的部门组织进而可以将数据的成本分摊到部门组织。数据成本值PC*cuS*suB*buF*fuM*mu
数据的IPO图展示方法 如上图所示展示了视频网站用户行为数据user_event_info_df数据的IPO矩阵图。其中数据的输入有三个渠道处理大致有两种处理加工逻辑最终输出有3种数据。其中处理过程可以关联PO矩阵图找到对用的部门组织。
数据产出值计算方法 假设数据产出值O则O输出数据的个数(如表的个数数据的种类)
数据处理复杂度计算方法 数据处理复杂度处理加工涉及的过程的数量
计算结果分析 通过计算出的数据资产的可靠度使用权重指标可以对数据是否有下游使用使用的重要程度对数据是否可以归档或则销毁作为参考以及对数据的价值质量具有一定参考意义。通过数据的RD矩阵图计算成本值指标可以将数据的相关成本细化进而也可以关联数据使用的部门对数据产生的成本进行分摊计算。通过PO矩阵图计算部门关联度过程复杂度指标可以让用户对数据属性复杂度有一定了解。以及通过IPO图计算输入产出值过程复杂度等指标可以让用户再使用数据时进行溯源输入加工逻辑输出成功有个全方位的认识。
