杭州微网站开发公司电话,博物馆 网站 建设,网站外部外链建设,linux下网站建设数据同步策略 数据仓库同步策略概述一、数据的全量同步二、数据的增量同步三、数据同步策略的选择 数据仓库同步策略概述
应用系统所产生的业务数据是数据仓库的重要数据来源#xff0c;我们需要每日定时从业务数据库中抽取数据#xff0c;传输到数据仓库中#xff0c;之后… 数据同步策略 数据仓库同步策略概述一、数据的全量同步二、数据的增量同步三、数据同步策略的选择 数据仓库同步策略概述
应用系统所产生的业务数据是数据仓库的重要数据来源我们需要每日定时从业务数据库中抽取数据传输到数据仓库中之后再对数据进行分析统计。
为了方便上层指标的统计数据的同步策略有全量同步和增量同步。 同步方式是针对对应的表而言的 为什么要做数据同步 数据仓库的目的是对历史数据做分析业务数据库不能很好的存储大量的历史数据并且在根据业务数据进行分析时业务数据不能很好的承受分析带来的性能消耗因此我们需要将数据同步到数据仓库中使用数据仓库作为指标分析的数据源。 一、数据的全量同步
全量同步就是每天都将业务数据库中的全部数据同步一份到数据仓库这是保证两侧数据同步的最简单的方式。 以下是2022-06-08到2022-06-10的数仓和业务数据库的全量同步过程简介: 假设2022-06-08是数仓创建的首日那么数仓需要把业务数据库中的所有数据进行一次全量同步保证从这天开始两侧的数据是一致的。 2022-06-09的数据同步如下图同步的3条数据中前2条属于前一日的数据即新增的数据只有一条这种同步方式存在着大量的冗余。
优点缺点操作逻辑简单在某些情况下效率较低。例如某张表数据量较大但是每天数据的变化比例很低若对其采用每日全量同步则会重复同步和存储大量相同的数据。
二、数据的增量同步
增量同步就是每天只将业务数据中的新增及变化数据同步到数据仓库。采用每日增量同步的表通常需要在首日先进行一次全量同步。 以下是2022-06-08到2022-06-10的数仓和业务数据库的增量同步过程简介: 假设2022-06-08是数仓创建的首日那么数仓需要把业务数据库中的所有数据进行一次全量同步保证从这天开始两侧的数据是一致的。 从2022-06-09开始增量同步的表只同步对应日期的新增和变更数据利用分区表将不同日期的新增变化数据存储到对应的位置。
优点缺点效率高无需同步和存储重复数据逻辑复杂需要将每日的新增及变化数据同原来的数据进行整合才能使用但在一些指标下尤为好用。
三、数据同步策略的选择
通常情况业务表数据量比较大优先考虑增量数据量比较小优先考虑全量
关于一张业务表是需要使用全量同步还是增量同步通常可以根据上层的指标进行抉择某些指标例如每日新增指标对增量同步的表而已解决这个指标比使用全量同步来得更容易
一张表的同步策略不一定非全量即增量
一张业务表的数据量很大并且变化程度高每日的变化量占全表的70%那么增量和全量所同步的数据量相差不多。 一张表的数据同步方式的可以根据数据量大小和数据变化量进行抉择。 数据仓库的构建目的上是为了指标的产出所以同步方式原则上应该是为了方便上层指标的产出而进行选择具体情况具体分析具体选择由数仓模型决定。
