哈尔滨企业网站开发报价,知名企业网站,wordpress 在线skype,网站建设售价多少钱官网旁路输出 Flink拆分流和复制流
我们在处理数据的时候，有时候想对不同情况的数据进行不同的处理，那么就需要把流进行拆分或者复制。 如果是使用filter来进行拆分，也能满足我们的需求，但每次筛选都要保留整个流，然后遍历整个流，显然很浪费性能，假如能够在一个流了多次…官网旁路输出 Flink拆分流和复制流
我们在处理数据的时候，有时候想对不同情况的数据进行不同的处理，那么就需要把流进行拆分或者复制。 如果是使用filter来进行拆分，也能满足我们的需求，但每次筛选都要保留整个流，然后遍历整个流，显然很浪费性能，假如能够在一个流了多次输出就好了，flink的旁路输出则提供了这样的功能。
1 使用filter分流
其实根据条件筛选数据的需求，本身非常容易实现：只要针对同一条流多次独立调用.filter()方法进行筛选，就可以得到拆分之后的流。 情景一 {“name”: “A1”, “dtime”: “2024-06-21 15:11:17.961”} {“name”: “A2”, “dtime”: “2024-06-21 15:11:22.961”} {“name”: “A3”, “dtime”: “2024-06-21 15:11:22.961”}
{“rule1”:[“A1”,“A2”],“rule2”:[“A2”,“A3”],“rule3”:[“A3”]}
1.1 不指定时间戳分配器【自身时间戳】
将使用kafka记录自身的时间戳。
