asp.net 3.5网站开发全程解析 ,关键词完整版,西安哪家公司网站做的好,企业网站推广策略Chain分隔 文章目录Chain分隔如何切断任务链#xff1f;startNewChain 与 disableChaining区别全局切断任务链(chain)web端效果查看隔离后依赖链忙碌程度什么是Backpressured(被压/反压)#xff1f;代码样例参考文献如何切断任务链#xff1f;
由于共享slot的存在#xff…Chain分隔 文章目录Chain分隔如何切断任务链startNewChain 与 disableChaining区别全局切断任务链(chain)web端效果查看隔离后依赖链忙碌程度什么是Backpressured(被压/反压)代码样例参考文献如何切断任务链
由于共享slot的存在当一个任务链的计算量特别庞大时且只在一个slot上执行对于slot的压力过大需要拆开。
1disableChaining如果对一个算子使用了disableChaining取消任务链那么该算子就会与前后算子隔离开不参与任务链的组合独用一个slot。
2startNewChain如果一个任务链只是过于庞大但是算子之间的操作简单仅想拆开为2个任务链并且参与任务链组合就需要对算子使用startNewChain(开启一个新的任务链)意思就是之前该怎么合并就怎么合并map之后重新合成任务链。
3env.disableOperatorchaining 全局切断任务链。所有的算子都是独立的任务再按照并行度拆分开。
4slotSharingGroup取消任务链后还需要打破slot共享使用单独的slot。这时需要使用slotSharingGroup之前的算子不管从当前算子开始共享slot并可以为共享组命名。同一个共享组内的算子可以共享一个slot不同共享组的slot必须分配到不同的slot。且可以设置多个共享组跨算子设置。
startNewChain 与 disableChaining区别
stream.startNewChain()从当前算子开启新的链与前面的链断开后面的链不断开
stream.disableChaining()当前算子独立一个链前后都分开从stream算子开始到结束禁用Chain单独划出来将不会合并链。
全局切断任务链(chain)
env.disableOperatorchaining全局切断任务链。所有的算子都是独立的任务再按照并行度拆分开
web端效果 查看隔离后依赖链忙碌程度 Backpressured背压/反压 从字面上可以理解后端的压力这里代表当前算子的下一个环节压力也可以理解为下一个环节有这个Backpressured比例数据未处理
busy忙碌 代表当前环节忙碌程度
**Idle空闲**代表当前环节空闲程度
什么是Backpressured(被压/反压)
概括来说反压就是Job Graph中的某些operator处理数据的速率低于接收数据的速率造成数据积压积压的数据填充到这些operator子任务的输入缓冲区。一旦输入缓冲区满了反压就会传播到上游子任务的输出缓冲区。上游子任务也会被迫降低自身数据处理速度以匹配下游opeartor的处理速度。由此类推反压一步一步向上游传递直至到达数据源operator端。
具体关于Backpressured参考《Flink BackPressure详细介绍》
代码样例
val writeHbaseResult userChangeWriteHbase.process(new HbaseProcessFunction).name(write hbase).disableChaining()val writeHbaseResult userChangeWriteHbase.process(new HbaseProcessFunction).name(write hbase).startNewChain()参考文献
https://blog.csdn.net/qq_31866793/article/details/102786249
https://blog.csdn.net/weixin_42716237/article/details/110732812
https://blog.csdn.net/qq_16504067/article/details/123535099
https://www.kancloud.cn/zhangpn/flink/1743325
https://cdn.modb.pro/db/128767
https://www.163.com/dy/article/H2VSPV1T05529EM4.html
https://v.youku.com/v_show/id_XNDU2MjU5NjI4OA.html
https://cloud.tencent.com/developer/article/1797980
