做系统网站建设,盐城市城乡和住房建设厅网站,科凡官网,网络营销推广策划阿里云实时数据仓库——学习笔记 课程目标
学习搭建一个实时数据仓库#xff0c;掌握数据采集、存储、计算、输出、展示等整个业务流程。整个实时数据仓库系统是在阿里云架构上搭建#xff0c;掌握并学会运用各个服务组件#xff0c;及各个组件之间如何联动。前置知识要求掌握数据采集、存储、计算、输出、展示等整个业务流程。整个实时数据仓库系统是在阿里云架构上搭建掌握并学会运用各个服务组件及各个组件之间如何联动。前置知识要求熟练掌握SQL语法、对Hadoop大数据体系有一定的了解
第1章 课程目录
1.1 项目需求分析
1实时采集埋点日志数据 2实时采集业务数据库中数据 3对数据进行清洗和处理 4保存数据到分析型数据库 5对结果进行可视化展示 1.2.2 技术选型 1.2.3 系统架构设计 1.2.4 业务流程 第2章 业务数据准备
第4章 同步业务数据
4.1 DTS 同步数据
数据传输服务Data Transmission ServiceDTS 支持关系型数据库、NoSQL、大数据(OLAP)等数据源间的数据传输。它是一种集数据迁移、数据订阅及数据实时同步于一体的数据传输服务。数据传输致力于在公共云、混合云场景下解决远距离、毫秒级异步数据传输难题。它底层的数据流基础设施为阿里双11异地多活基础架构为数千上下游应用提供实时数据流已在线上稳定运行5年之久。您可以使用数据传输轻松构建安全、可扩展、高可用的数据架构。
第5章 实时数仓分层
1实时数仓层级 2实时数仓分层设计
