ui设计案例网站,重庆市公共资源交易中心网,wordpress的网站怎么让他上线,成都工商注册咨询电话Kafka Streams 和 Apache Flink 与数据库和数据湖相比的无状态和有状态流处理的概念和优势。
在数据驱动的应用中#xff0c;流处理的兴起改变了我们处理和操作数据的方式。虽然传统数据库、数据湖和数据仓库对于许多基于批处理的用例来说非常有效#xff0c;但在要求低延迟…Kafka Streams 和 Apache Flink 与数据库和数据湖相比的无状态和有状态流处理的概念和优势。
在数据驱动的应用中流处理的兴起改变了我们处理和操作数据的方式。虽然传统数据库、数据湖和数据仓库对于许多基于批处理的用例来说非常有效但在要求低延迟、可扩展性和实时决策的场景中它们显得力不从心。
本文以Kafka Streams和Apache Flink为例探讨无状态和有状态流处理的关键概念。这些原则适用于任何流处理引擎无论是开源引擎还是云服务引擎。
让我们分析一下与传统静态数据方法相比的差异、实际用例、与 AI/ML 的关系以及巨大的价值流处理。
1.从静态到动态重新思考数据处理
在传统系统中数据通常先存储在数据库或数据湖中然后再进行查询计算。这种方法非常适合批量处理任务例如生成报告或仪表板。该流程通常如下所示 存储数据数据到达并存储在数据库或数据湖中。 查询和计算应用程序稍后使用 Web 服务、请求-响应 API 或 SQL 脚本请求数据以供分析或处理。
但是当需要以下情况时这种方法就会失败 立即采取行动实时响应事件例如欺诈检测。 可扩展性每秒处理数千或数百万个事件。 持续洞察持续分析动态数据。
进入流处理一种数据在流经系统时被持续处理的范例。无需等待先存储数据像Kafka Streams和Apache Flink这样的流处理引擎使业务能够在数据到达时立即采取行动。
2.案例实时预防欺诈
这篇文章以一个反欺诈场景来说明流处理的强大功能。在这个例子中来自各种来源例如信用卡支付、移动应用购买的交易都被实时监控。 系统使用三种方法标记可疑活动 无状态处理每笔交易都独立评估并立即标记高价值付款。 状态处理在时间窗口内例如 1 小时分析交易以检测模式例如异常高的交易数量。 人工智能集成通过预测欺诈活动的可能性使用预先训练的机器学习模型进行实时欺诈检测。
这个例子强调了流处理如何实现即时、可扩展和智能的欺诈检测这是传统批处理无法实现的。
为了避免混淆虽然我在示例中使用 Kafka Streams 进行无状态处理使用 Apache Flink 进行有状态处理但这两个框架都能够处理这两种类型的处理。
2.1 流处理的其他行业示例 预测性维护工业物联网持续监控传感器数据以预测设备故障并安排主动维护。 实时广告零售根据实时用户互动和行为模式投放个性化广告。 实时投资组合监控金融持续分析市场数据和投资组合表现以在市场波动期间触发即时警报或自动交易。 供应链优化物流实时跟踪货物以优化路线、减少延误并提高效率。 状况监测医疗保健持续分析患者生命体征以检测异常并触发即时警报。 网络监控电信实时检测中断或性能问题以提高服务可靠性。
这些示例突出了流处理如何推动不同行业的实时洞察和行动。
3.什么是无状态流处理
无状态流处理专注于独立处理每个事件。在这种方法中系统无需维护任何先前事件的上下文或记忆。每个传入事件都是独立处理的这意味着所应用的逻辑仅取决于该特定事件中的数据。
这使得无状态处理高效且易于扩展因为它不需要状态管理或事件之间的协调。它非常适合诸如过滤、转换和简单的 ETL 操作等用例在这些用例中无需历史数据或上下文即可处理单个事件。
3.1 示例实时支付监控
设想一个实时监控交易的反欺诈系统用于检测和阻止可疑活动。每笔交易无论是通过信用卡、移动应用程序还是支付网关都会在发生时进行评估。该系统会检查是否存在异常情况例如金额异常高、来自陌生地点的交易或快速的购买序列。
通过即时分析这些属性系统可以标记高风险交易以供进一步检查或自动阻止。这种实时评估可确保立即发现潜在欺诈行为从而降低财务损失的可能性并增强整体安全性。
用标记高额付款以便进一步检查。以下是 Kafka Streams 示例 每笔交易在到达时都会进行评估。 如果交易金额超过 100以您选择的货币计算则会将其发送到单独的主题以供进一步审核。
Java 示例Kafka Streams
KStreamString, Payment payments builder.stream(payments);payments.filter((key, payment) - payment.getAmount() 100)
.to(high-risk-payments);3.2 无状态处理的好处 低延迟立即处理单个事件。 简单无需追踪或管理过去的事件。 可扩展性有效处理大量数据。
这种方法非常适合过滤、数据丰富和简单 ETL 任务等用例。
4.什么是状态流处理
状态流处理更进一步将多个事件同时考虑。系统跨事件维护状态从而支持聚合、连接和窗口分析等复杂操作。这意味着系统可以关联指定时间段内的数据跟踪模式并检测跨多个事务或数据点出现的异常。
4.1 示例通过连续模式检测预防欺诈
在预防欺诈方面单个交易可能看起来很正常但随着时间的推移模式可能会揭示可疑行为。
例如欺诈预防系统可以通过分析一小时内特定信用卡的所有交易来识别可疑行为而不是单独评估每笔交易。
让我们通过使用 Flink SQL 分析 Apache Flink 的事务来检测异常。在此示例中 该系统会在 1 小时内监控每张信用卡的交易。 如果一张卡在一小时内被使用超过10次则表明存在潜在的欺诈行为。
SQL 示例Apache Flink
SELECT card_number, COUNT(*) AS transaction_count
FROM payments
GROUP BY TUMBLE(transaction_time, INTERVAL 1 HOUR), card_number
HAVING transaction_count 10;4.2 状态处理中的关键概念
状态处理依赖于维护跨多个事件的上下文从而使系统能够执行更复杂的分析。以下是使状态流处理成为可能的关键概念 窗口定义一个时间范围来对事件进行分组例如滑动窗口、滚动窗口。 状态管理系统记住定义窗口内的过去事件。 连接合并来自多个来源的数据以进行丰富的分析。
4.3 状态处理的好处
状态处理对于异常检测、实时监控和预测分析等高级用例至关重要 复杂分析检测随时间变化的模式。 事件关联组合来自不同来源的事件。 实时决策持续监控无需重新处理数据。
5.将人工智能和机器学习引入流处理
Kafka Streams 和 Apache Flink 等流处理引擎也支持实时 AI 和机器学习模型推理。这允许您将预先训练的模型直接集成到数据处理管道中。
5.1 示例使用 AI/ML 模型进行实时欺诈检测
设想一个使用 TensorFlow模型进行实时推理的支付欺诈检测系统。在这个系统中来自信用卡、移动应用和支付网关等各种来源的交易会被持续传输。每笔传入的交易都会经过预处理并发送到 TensorFlow 模型该模型会根据训练过程中学习到的模式对其进行评估。
该模型分析交易金额、地点、设备ID和频率等特征以预测欺诈的可能性。如果模型识别出较高的欺诈概率系统可以立即触发操作例如标记交易、阻止交易或向安全团队发出警报。这种实时推理可确保立即检测并处理潜在的欺诈行为从而降低风险并增强安全性。
以下是使用 Apache Flink 的 Python API 进行预测 AI 的代码示例
Python 示例Apache Flink
def predict_fraud(payment):
prediction model.predict(payment.features)
return prediction 0.5stream payments.map(predict_fraud)5.2 为什么要将人工智能与流处理结合起来
将 AI 与流处理相结合可以释放强大的实时决策能力使企业能够在数据流经系统时立即做出响应。以下是将 AI 与流处理相结合的一些主要优势 实时预测立即检测和预防欺诈。 自动化决策将人工智能融入关键业务流程。 可扩展性每秒处理数百万个预测。
Apache Kafka 和 Flink 提供低延迟、可扩展且稳健的预测。我的文章《使用 Apache Kafka 和 Flink 实现预测性 AI 和 GenAI 的实时模型推理》比较了远程推理通过 API和嵌入式推理在流处理应用程序中。
对于大型 AI 模型例如生成式 AI 或大型语言模型推理通常通过远程调用进行以避免在流处理器中嵌入大型模型。
6.无状态与有状态流处理何时使用
在无状态和有状态流处理之间进行选择取决于用例的复杂性以及是否需要跨多个事件维护上下文。下表概述了主要区别以帮助确定最符合特定需求的方法。 特征 无状态 有状态的 用例 简单过滤ETL 聚合、连接 延迟 极低延迟 由于状态管理导致延迟略高 复杂度 简单逻辑 涉及多个事件的复杂逻辑 状态管理 不要求 需要感知 可扩展性 高的 取决于框架
最后澄清一下虽然本文使用 Kafka Streams 进行无状态处理使用 Flink 进行有状态流处理但这两个框架都能够处理这两种类型。
