北京的电商平台网站,wordpress search标签页,城乡企业建设部网站,深圳设计学院接前一篇文章#xff1a;软考 系统架构设计师系列知识点之大数据设计理论与实践#xff08;12#xff09; 所属章节#xff1a;
第19章. 大数据架构设计理论与实践 第4节 Kappa架构 19.4.2 Kappa架构介绍
Kappa架构由Jay Kreps提出#xff08;Lambda由Storm之父Nayhan M…接前一篇文章软考 系统架构设计师系列知识点之大数据设计理论与实践12 所属章节
第19章. 大数据架构设计理论与实践 第4节 Kappa架构 19.4.2 Kappa架构介绍
Kappa架构由Jay Kreps提出Lambda由Storm之父Nayhan Marz提出不同于Lambda同时计算流计算和批计算合并视图Kappa只会通过流计算一条数据链路来计算并产生视图。Kappa同样采用了重新处理事件的原则对于历史数据分析类的需求Kappa要求数据的长期存储能够以有序日志流的方式重新流入计算引擎重新产生历史数据的视图。本质上是通过改进Lambda架构中的Speed Layer使它既能够进行实时数据处理同时也有能力在业务逻辑更新的情况下重新处理以前处理过的历史数据。
Kappa架构的原理就是
在Lambda的基础上进行了优化删除了Batch Layer的架构将数据通道以消息队列进行替代。因此对于Kappa架构来说依旧以流处理为主但是数据却在数据湖层面进行了存储。当需要进行离线分析或者再次计算的时候则将数据湖的数据再次经过消息队列重播一次即可。Kappa数据处理架构如图19-10所示 如上图所示输入数据直接由实时层的实时数据处理引擎对源源不断的源数据进行处理再由服务层的服务后端进一步处理以提供上层的业务查询。而中间结果的数据都是需要存储的这些数据包括历史数据与结果数据统一存储在存储介质中。
Kappa方案通过精简链路解决了数据写入和计算逻辑复杂的问题。但它依然没有解决存储和展示的问题特别是在存储上使用类似Kafka的消息队列存储长期日志数据数据无法压缩存储成本很大。绕过work around方案是使用支持数据分层存储的消息系统如Pulsar支持将历史消息存储到云上存储系统但是分层存储的历史日志数据仅能用于Kappa backfill作业数据的利用率依然很低。
从使用场景上来看Kappa架构与Lambda架构相比主要有两点区别
1Kappa不是Lambda的替代架构而是其简化版本。Kappa架构放弃了对批处理的支持更擅长业务本身为增量数据写入场景的分析需求。例如各种时序数据场景天然存在时间窗口的概念流式计算直接满足其实时计算和历史补偿任务需求
2Lambda直接支持批处理因此更适合对历史数据分析查询的场景。比如数据分析师需要按任意条件组合对历史数据进行探索性的分析并且有一定的实时性需求期望尽快得到分析结果批处理可以更直接高效地满足这些需求。 至此“19.4.2 Kappa架构介绍”的全部内容就讲解完了。更多内容请看下回。
