网站项目验收,软装设计理念,国外html5网站,游戏制作专业背景
flink和kafka的消息组合消费模式几乎是实时流处理的标配#xff0c;然后当在flink中使用事件时间处理时#xff0c;需要注意kafka不同分区元素之间时间相差太大的问题#xff0c;这样有可能会导致严重的数据堆积问题
kafka不同分区元素事件时间差异较大导致的问题 总…背景
flink和kafka的消息组合消费模式几乎是实时流处理的标配然后当在flink中使用事件时间处理时需要注意kafka不同分区元素之间时间相差太大的问题这样有可能会导致严重的数据堆积问题
kafka不同分区元素事件时间差异较大导致的问题 总结
我们在kafka的不同分区之间的事件的时间不能太过于极端因为这样的话下游的水印是由消费的分区中最小的那个事件时间元素来决定的但是flink仍然会消费其它分区的元素只是由于水印不满足这些元素再向下游管道流动时会被临时缓冲起来当这种情况很极端时有可能把flink的作业搞崩溃
