一:介绍
1.运行组件
2.并发度
就是executor数量
executor线程是物理线程
task是执行线程
二:增加并发度
三:Worker层次
1.worker工作进程上
各个Spout组件、Bolt组件如果在代码中没有显式指定由多少个executor线程来执行,那么默认各由1个executor来执行
那么并发度就是Spout与Bolt的个数加起来。
通过增加worker进程数量,可能可以提高并发性能(是可能,因为四个线程在抢占一个进程),主要要求清楚整个Topology有多少个executor线程
2.在worker进程上进行对比(worker=2)
worker=2
3.性能问题
个数的确定需要看executor线程。
如果executor的个数是4,给值6,则不会提高性能。
一个worker进程跑1到2个executor线程,性能更好。
4.代码体现
这里可以设置为2。
五:Exeutor层次
1.executor线程层次
提高并发度,本质提高executor数量
Executor数量的设置,针对具体某个组件 (spout、bolt)
globalGrouping 全局分组, executor数量设置多个没有什么作用,就用1个
2.在代码上体现
setSpout的最后一个参数是executor线程的参数。
setBlot的最后一个参数也是executor线程参数。
globalGrouping这种全局分组,只需要设置1即可,多了也是没有用。
===》》一个八个线程。
六:Task层次
1.Task层次(很少设置)
是Task执行线程
每个物理线程 executor默认情况只运行一个task执行线程
2.代码体现
8.为啥不常使用设置
每个物理线程 executor默认情况只运行一个task执行线程
Spout有4个task,这4个运行在2个executor上, 每个物理线程平均执行2个task
并不能提高性能。