华为云云速建站教程,苏州企业网站制作设计公司,wordpress首页指定分类列表,建筑工程网上备案数据仓库管理着整个银行或公司的数据#xff0c;数据结构复杂#xff0c;数据量庞大#xff0c;任何一个数据字段的变化或错误都会引起数据错误#xff0c;影响数据应用#xff0c;同时业务的发展也带来系统不断升级#xff0c;数据需求的不断增加#xff0c;数据仓库需… 数据仓库管理着整个银行或公司的数据数据结构复杂数据量庞大任何一个数据字段的变化或错误都会引起数据错误影响数据应用同时业务的发展也带来系统不断升级数据需求的不断增加数据仓库需要不断的升级和维护才能保证为全行提供持续完整准确的数据服务。所以数据仓库基本上是全行或全公司版本最多的系统如何保证在频繁的变化中保证数据的准确和系统的稳定需要数据仓库的开发管理必须做到高效、有条不紊。 、数据仓库开发流程 .、规范先行 数据仓库从开发上看数据加载和导入的程序相对固定开发工作主要是数据转换的SQL脚本的分析和开发。那SQL的分析和开发最主要的还是基于业务逻辑进行编写所以对数据字段的理解以及对业务规则的熟悉是数据仓库模型人员和开发人员都需要具备的知识同时数据和规则又会不断变化那如何确保快速开发开发的代码具有可读性、模型设计具有一致性最重要的是在数据仓库建立时就制定相应的规范使整个团队能按规范同步进行开发、设计。那在数据仓库中主要有以下规范 1命名规范包括ETL作业、数据库或大数据平台的对象表、字段、存储过程、schema名或库名、脚本名、文件名等都需要按一定的规则进行命名以便快速定位。 2ETL开发规范包括抽取、加载作业的开发规范、调度工具的使用规范、SQL脚本或作业的开发规范、开发流程规范等 3数据模型设计和维护规范主要对主模型区、汇总指标层、集市层的模型设计原则、方法、重要规则如客户ID进行统一。 通过规范先行能在数据仓库建设及后续维护中能快速统计数据仓库的运行情况如系统作业的关键路径、表数量以及空间使用情况源系统变化的影响情况等避免产生混乱比如许多数据仓库或系统随着不断变化和增加连哪些表在使用哪些数据已经不更新了、目标表使用了哪些源系统数据字段都不能马上分析出来需要花费人力来梳理一段时间后又回归混乱。这种情况不仅无法有效分析数据仓库的实际运行情况更会带来生产问题的安全隐患。 .、开发流程 之前已经提到数据仓库从头建设的流程那现在以某个数据应用对数据仓库提出需求来看整个系统维护的开发流程主要步骤如下 1需求分析确定数据集市和数据仓库的接口字段和内容明确数据需求 2模型开发和维护分析现有模型是否满足所有接口字段需求如果不满足则需要从源系统增加入仓的表数据并分析更新主数据区、汇总指标区和数据集市的逻辑模型、物理模型并确定数据接口字段的映射关系如果满足则只需确认映射规则 3ETL开发开发数据库或大数据平台的数据脚本以及作业脚本并根据测试和生产验证的情况修正逻辑模型 1.3、分工及职责 数据仓库团队主要分为模型人员、ETL开发人员和测试人员其中模型人员主要是进行需求分析和模型维护ETL开发人员负责代码实现和系统维护开发流程中各角色工作如下 那在许多银行实际开发中根据公司团队规模不同模型人员的职责也会有所差别模型人员有的属于数据仓库开发团队只负责数据模型维护有的属于科技规划团队即又称SA模型人员除了模型维护可能还兼顾项目经理、系统分析的角色。那模型人员也可能分别负责主模型区、汇总指标区和数据集市。所以模型团队内部也需要定期同步数据模型的变化和更新统一设计规则和数据分布边界 2、数据仓库开发管理系统 通过规范、标准流程和分工协作可以保证数据仓库开发工作有条不紊但如何高效执行整个开发流程提高代码开发效率。则需要有数据开发管理工具的支持。 之前在ETL开发中也介绍了一些开发实践如标准的数据采集和加载作业、按ETL算法和数据映射自动生成数据转换脚本那这些都可以通过工具整合并管理。通过开发管理工具对整个开发流程的模型数据、ETL数据和代码进行管理和维护通过系统化来协助模型设计和开发那对于一个数据仓库开发管理系统主要有以下几方面功能 2.1数据模型维护功能 模型维护的功能许多是有文档来进行通过系统的整合可以提高效率增加信息的可统计性。 1对于源系统调研信息进行管理可对源系统的每个表和字段调研备注信息进行存储修改同时针对每个需求新增的表和字段都进行维护以便沉淀经验。 2逻辑模型管理这个功能如果已经是通过ERWIN或POWERDESIGN等工具进行管理可以只将结果和历史版本进行维护。如果自己开发可以集成一些开源工具的逻辑模型功能统一在开发管理系统中维护。 3物理模型管理物理模型主要是根据逻辑模型可以自动生成物理模型模型人员和ETL开发人员在这个基础上进行物理化增加索引、压缩、分区等信息。开发管理系统需要对物理模型进行存储和记录版本变更记录那各个数据区的物理模型都可以在开发管理系统中维护同时针对每次版本的变更自动生成数据库或者大数据平台的数据库脚本。 2.2 ETL作业信息配置及代码生成 1数据映射管理第5节介绍的数据转换作业映射文档在配置算法等信息后自动生成数据转化作业代码 2数据采集和加载管理数据采集作业和加载作业的信息具体可见第4节并自动生成采集和加载作业的脚本 3调度作业可以集成调度工具测试环境根据ETL作业脚本信息自动生成调度作业的脚本并同步作业信息到调度系统并在调度工具中配置依赖关系后并测试后形成上线的调度作业配置版本。 2.3 打通测试环境和版本管理工具 数据仓库的代码主要是ETL脚本无需编译只需放在规范的目录下即可由于生成代码后还需要提交到版本管理工具以及测试环境进行测试因此可以直接调用版本管理工具的命令进行生成的代码更新再通过版本发布工具发布到测试环境。如果没有版本发布工具可以直接在开发管理工具中集成脚本传输的功能在测试环境验证后再更新版本管理工具上的代码分支。 通过打通测试环境和版本管理工具可以提高自动化确保从系统自动产生代码和脚本使维护的信息和生产脚本确保一致。 实际开发中数据仓库可能会有多个团队进行维护许多厂商也会有些工具但要从数据仓库全开发流程以及结合各银行或公司的版本管理、测试管理流程来设计工具提高开发效率这个层面厂商一般不会考虑那么全面需要银行数据仓库管理人员进行规划。通过统一规范及基础上通过开发管理工具可以更好的统一全行的数据开发规范提高开发效率和代码质量让更多的人力投入到数据应用开发和分析中。 版权声明本文为acumen_leo博主原创文章遵循 CC 4.0 BY-SA 版权协议转载请附上原文出处链接和本声明。 原文链接https://blog.csdn.net/acumen_leo/article/details/96648615
