企业商城网站开发建设,ios微信上的pdf乱码,网站开发生命周期,诸城网站建设定制Windows是数据流的时间窗口#xff0c;流式数据特点就是源源不断没有边界#xff0c;但是对于我们数据使用者而言很多时候业务要求对特定时间长度的数据进行切片并统计分析#xff0c;以此来反映通过时间变化某个业务指标的变化情况#xff0c;这个时候就需要用到流式计算引… Windows是数据流的时间窗口流式数据特点就是源源不断没有边界但是对于我们数据使用者而言很多时候业务要求对特定时间长度的数据进行切片并统计分析以此来反映通过时间变化某个业务指标的变化情况这个时候就需要用到流式计算引擎中的Windows功能也叫时间窗口功能就是每次取数据流中特定时间长度的数据进行计算分析。 时间窗口功能在目前的主流计算引擎spark和flink中都有三种类型第一种为固定时间窗口也就是取数据的时间长度和取数据的时间周期相等叫tumbling windows比如设置tumbling(5mins)意味着计算引擎每隔5分钟就会收集5分钟时间长度的数据进行计算他的特点是任何一条数据都只能出现在一个窗口内第二种为滑动时间窗口以某个滑动频率取固定时间长度的数据并且取数的时间长度必须大于等于滑动时间这种叫sliding Windows比如你设置sliding10mins,5mins意味着每5分钟计算引擎就去取10分钟时间长度的数据它的特点是一条业务数据可能落在多个时间窗口内第三种为动态时间窗口所谓动态就是取数据的时间长度不固定这个跟计算引擎是否有持续数据输入有关这种叫session Windows比如设置session5mins,意味着计算引擎如果在收到一条数据后5分钟之内没有再次收到下一条数据那么这个窗口才会关闭否则这个时间窗口会无限期延长。 实际用的比较多的是第一种和第二种而在开发过程中Windows功能一般都会结合watermark功能一起使用以此来满足流式时间片段的统计需求。
