网站前台设计教程,中国建设银行网站公积金查询系统,网站建设驻地开发合同,大学生网页设计个人主页背景
flink 在1.15版本后开始提供generic log-based incremental checkpoints的检查点方案#xff0c;目的在于减少checkpoint的耗时#xff0c;尽量缩短端到端的数据处理延迟#xff0c;本文就来看下这种新类型的checkpoint的设计
generic log-based incremental checkpo…背景
flink 在1.15版本后开始提供generic log-based incremental checkpoints的检查点方案目的在于减少checkpoint的耗时尽量缩短端到端的数据处理延迟本文就来看下这种新类型的checkpoint的设计
generic log-based incremental checkpoints 设计
generic log-based incremental checkpoints的设计主要是参考事务数据库的设计方案总体来说就是insert、update、delete操作先记录到事务日志文件中然后应用到DB数据文件中通过这样的设计相当于每时每刻状态操作都已经持久化到了事务日志中遇到checkpoint barrier的时候也是只要确保barrier之前的修改操作已经记录到事务日志中即可这样的话整个checkpoint操作就会非常快当然缺点也是显而易见包括双写会导致状态操作的时延增加状态的大小空间占用庞大crash崩溃后恢复耗时增加等
