flink窗口分类

wuchangjian2021-11-17 13:14:10编程学习

文章目录

  • Dataflow模型
  • 数据流图
  • 流处理
  • 窗口

Dataflow模型

Dataflow模型提供了一种统一流处理和批处理的系统框架。
Dataflow模型对于无序流数据,提供了一套基于事件时间、水位线和延迟处理的机制,从而实现窗口聚合计算的能力,以实现流数据计算的正确性、高吞吐和延迟3者的平衡。

数据流图

数据流图有逻辑数据流图(节点表示算子)和物理数据流图(节点表示任务)。
数据分配策略:

  • 转发分配策略:将流数据从一个任务节点直接分配到下一个任务节点。
  • 基于key分配策略:对数据分区,保证同一key的数据由同一任务进行计算。
  • 随机分配策略:将数据随机的分配到下游的并行任务中去,以实现负载均衡的目的,从而充分利用集群中的不同节点进行数据并行处理。
  • 广播分配策略:将上个任务节点中所有数据,发送到下一个算子中所有并行的任务节点上。延迟大,代价高。

流处理

  • 流数据源:一个与外部系统进行交互的接口,他可以从外部系统获取原始数据。
  • 流数据转换:获取数据后,内部根据业务逻辑对数据流进行转换操作。
  • 流数据输出:将计算结果输出,以供外部系统使用。

窗口

  1. 滚动窗口(Tumbling Window)
    将无界数据流按固定大小进行拆分成不同窗口,不同窗口中的事件数据没有交叉
    滚动窗口分为基于数量和时间(左闭右开)的滚动窗口。
  2. 滑动窗口(Sliding Window)
    有两个参数,一个窗口大小,一个滑动大小。滑动窗口将事件数据分配到固定大小的窗口中,但不同窗口的元素可能有交叉
    滑动窗口分为基于数量和时间(左闭右开)的滑动窗口。
  3. 会话窗口(Session Window)
    用一个时间间隙阈值来区分不同窗口。当事件数据时间间隙超过一定阈值(session gap)时,就会划分不同窗口。
  4. 全局窗口(Global Window)
    所有相同的key都会生成一个相关的窗口,所以窗口没有起止时间,需要自己实现Trigger的触发计算,如果不实现Trigger则窗口永远不会进行计算。同时还需要指定相应的数据清理机制,如果不进行数据清理数据一直会停留在内存中。所以使用Global Window要较为慎重。

发表评论    

◎欢迎参与讨论,请在这里发表您的看法、交流您的观点。