1、概念
Task(任务):Task是一个阶段多个功能相同的subTask 的集合,类似于Spark中的TaskSet。
subTask(子任务):subTask是Flink中任务最小执行单元,是一个Java类的实例,这个Java类中有属性和方法,完成具体的计算逻辑。
Operator Chains(算子链):没有shuffle的多个算子合并在一个subTask中,类似于Spark 中的Pipeline。
Slot(插槽):Flink 中计算资源进行隔离的单元,一个Slot中可以运行多个subTask,但是这些subTask必须是来自同一个application的不同阶段的subTask。
State(状态):Flink在运行过程中计算的中间结果。
2、DATAFLOWS数据流介绍
Flink程序的基本构建是 流(stream)和转换(Transform)
从概念上讲,流是对当前数据流向的记录(流也可能是永无止境的),而 转换是将一个或多个流作为输入,根据需要求转换成我们要的格式的流的过程。
2.2.1、如何划分TASK的依据
1、并行度发生变化时
2、keyBy()/window()/apply() 等发生Rebalance重新分配
3、调用startNewChain()方法,开启一个新的算子链
4、调用diableChaining()方法,即:告诉当前算子操作不使用算子链操作。
3、OPERATOR CHAINS介绍
Flink将多个subTask 合并成一个Task(任务),这个过程叫做 Operator Chains,每个任务由一个线程执行。使用Operator Chains(算子链)可以将多个分开的subTask拼接成
一个任务。
Operator Chains 是一个有用的优化,它减少了线程到线程的切换和缓冲的开销,并在降低延迟的同时提高了总体吞吐量。