《Java并发编程的艺术》第10章 Executor框架

　　Java的线程既是工作单元，也是执行机制。从JDK5开始，把工作单元与执行机制分离开来。工作单元包括Runnable和Callable，执行机制由Executor框架提供。

10.1 Executor框架简介

10.1.1 Executor框架的两级调度模型

　　在HotSpot VM 的线程模型中，Java线程（java.lang.Thread）被一对一映射为本地操作系统线程。Java线程启动时会创建一个本地操作系统线程；当该Java线程终止时，这个操作系统线程也会被回收。操作系统会调度所有线程并将它们分配给可用的CPU。

　　在上层，Java多线程程序通常把应用分解为若干个任务，然后使用用户级的调度器（Executor框架）将这些任务映射为固定数量的线程； 在底层，操作系统内核将这些线程映射到硬件处理器上。这种两级调度模型的示意图如下：

　　从图中可以看出，应用程序通过Executor框架控制上层的调度；而下层的调度由操作系统内核控制，下层的调度不受应用程序的控制。

10.1.2 Executor框架的结构与成员

 1. Executor框架的结构

　　Executor框架主要由3大部分组成：

• 任务。 包括被执行任务需要实现的接口：Runnable接口或Callable接口。
• 任务的执行。 包括任务执行机制的核心接口Executor，以及继承自Executor的ExecutorService接口。 Executor框架有两个关键类实现了ExecutorService接口（ThreadPoolExecutor和ScheduledThreadPoolExecutor）。
• 异步计算的结果。 包括接口Future和实现Future接口的FutureTask类。

 这些类和接口简介：

• Executor：是一个接口，它是Executor框架的基础，它将任务的提交与任务的执行分离开来。
• ThreadPoolExecutor：是线程池的核心实现类，用来执行被提交的任务。
• ScheduledThreadPoolExecutor：是一个实现类，可以在给定的延迟后运行命令，或者定期执行命令。ScheduledThreadPoolExecutor比Timer更灵活，功能更强大。
• Future接口和实现Future接口的FutureTask类，代表异步计算的结果。
• Runnable接口和Callable接口的实现类，都可以被ThreadPoolExecutor或Scheduled-ThreadPoolExecutor执行。

Executor框架的使用示意图：

　　主线程首先要创建实现Runnable或者Callable接口的任务对象。  

　　然后可以把Runnable对象直接交给ExecutorService执行（ExecutorService.execute（Runnablecommand））；或者也可以把Runnable对象或Callable对象提交给ExecutorService执行（ExecutorService.submit（Runnable task）或 ExecutorService.submit（Callable<T>task））。

　　如果执行ExecutorService.submit（…），ExecutorService将返回一个实现Future接口的对象（到目前为止的JDK中，返回的是FutureTask对象）。

　　最后，主线程可以执行FutureTask.get()方法来等待任务执行完成。主线程也可以执行FutureTask.cancel（boolean mayInterruptIfRunning）来取消此任务的执行。

 2. Executor框架的成员 

 　　Executor框架的主要成员：ThreadPoolExecutor、ScheduledThreadPoolExecutor、Future接口、Runnable接口、Callable接口、Executors。

1.  ThreadPoolExecutor

ThreadPoolExecutor是线程池的核心实现类，主要由下面4个组件构成：

• corePool：核心线程池的大小。
• maximumPool：最大线程池的大小。
• BlockingQueue：用来暂时保存任务的工作队列。
• RejectedExecutionHandler：当ThreadPoolExecutor已经关闭或已经饱和时（达到了最大线程池且工作队列已满），execute()方法将要调用的Handler

通过Executor框架的工具类Executors，可以创建（Executors.newXXX）3种类型的ThreadPoolExecutor：FixedThreadPool、SingleThreadExecutor、CachedThreadPool。

 1）FixedThreadPool：可重用固定线程数的线程池。

　　（适用于负载比较重的服务器）

　　源代码实现：

public static ExecutorService newFixedThreadPool(int nThreads){
　　return new ThreadPoolExecutor(nThreads,nThreads,0L,TimeUnit.MILLISECONDS,new LinkedBlockingQueue<Runnable>()); 
}
//FixedThreadPool的corePoolSize和maximumPool都被设置为创建FixedThreadPool时指定的参数nThreads。
//当线程池中的线程数大于corePoolSize时，keepAliveTime为多余的空闲线程等待新任务的最长时间,超过这个时间后多余的线程将被终止。这里把keepAliveTime设置为0L，意味着多余的空闲线程会被立刻终止。
//阻塞队列采用LinkedBlockingQueue(它是一个无界队列),由于采用了无界队列，实际线程数量将永远维持在nThreads，因此maximumPoolSize和keepAliveTime将无效.

　　FixedThreadPool的executor()方法的运行示意图：

　　

1. 如果当前运行的线程数少于corePoolSize，则创建新线程来执行任务。
2. 在线程池完成预热之后（当前运行的线程数等于corePoolSize），将任务加入LinkedBlockingQueue。
3. 当线程执行完1中的任务后，会在循环中反复从LinkedBlockingQueue获取任务来执行。

    【注】FixedThreadPool使用无界队列LinkedBlockingQueue作为线程池的工作队列。使用无界队列会对线程池带来如下影响：

1. 当线程池中的线程数达到corePoolSize后，新任务将在无界队列中等待，因此线程池中的线程数不会超过corePoolSize。
2. 使用无界队列时maximumPoolSize、keepAliveTime将是无效参数。
3. 由于使用无界队列，运行中的FixedThreadPool（未执行方法shutdown()或shutdownNow()）不会拒接任务。（不会调用RejectedExecutionHandler.rejectedExecution方法）

 2）SingleThreadExecutor：只会创建一个线程执行任务。

　　（适用于需要保证顺序执行各个任务；并且在任意时间点，没有多线程活动的场景。）

 　　源代码实现：

public static ExecutorService newSingleThreadExecutor(){
    return new ThreadPoolExecutor(1,1,0L,TimeUnit.MILLISECONDS,new LinkedBlockingQueue<Runnable>());}
//SingleThreadExecutorl的corePoolSize和maximumPool都被设置为1。
//SingleThreadExecutorl也使用无界队列LinkedBlockingQueue作为工作队列。所以maximumPool和keepAliveTime无效

　　SingleThreadExecutor的executor()方法的运行示意图：

 　　

1. 如果当前运行的线程数少于corePoolSize（<1，即线程池中无运行的线程），则创建新线程来执行任务。
2. 在线程池完成预热之后（当前线程池中有一个运行的线程），将任务加入LinkedBlockingQueue。
3. 当线程执行完1中的任务后，会在循环中反复从LinkedBlockingQueue获取任务来执行。

 【注】SingleThreadExecutorl也使用无界队列LinkedBlockingQueue作为工作队列，对线程池带来的影响与FixedThreadPool相同。

 3）CachedThreadPool：是一个会根据需要创建线程的线程池。

　　（大小无界，适用于执行很多的短期异步任务的小程序，或负载较轻的服务器）

 　　源代码实现：

public static ExecutorService newCachedThreadPool(){
    return new ThreadPoolExecutor(0,Integer.MAX_VALUE,60L,TimeUnit.MILLISECONDS,new SynchronousQueue<Runnable>());
}
//CachedThreadPool的corePoolSize被设置为0，即corePool为空； maximumPool被设置为Integer.MAX_VALUE，即maximumPool是无界的。
//keepAliveTime设置为60L，意味着CachedThreadPool中的空闲线程等待新任务的最长时间为60秒，空闲时间超过60秒将会被终止。

　　【注】CachedThreadPool使用没有容量的SynchronousQueue作为线程池的工作队列，但CachedThreadPool的maximumPool是无界的。这意味着，如果主线程提交任务的速度高于maximumPool中线程处理任务的速度时，CachedThreadPool会不断创建新线程。极端情况下，CachedThreadPool会因为创建过多线程而耗尽CPU和内存资源。

• 它是一个可以无限扩大的线程池；
• 它比较适合处理执行时间比较小的任务；
• corePoolSize为0，maximumPoolSize为无限大，意味着线程数量可以无限大；
• keepAliveTime为60S，意味着线程空闲时间超过60S就会被杀死；
• 采用SynchronousQueue装等待的任务，这个阻塞队列没有存储空间，这意味着只要有请求到来，就必须要找到一条工作线程处理他，如果当前没有空闲的线程，那么就会再创建一条新的线程。

　　SingleThreadExecutor的executor()方法的运行示意图：

　　

1. 首先执行SynchronousQueue.offer(Runnable task)。如果当前maximumPool中有空闲线程正在执行SynchronousQueue.poll(keepAliveTime,TimeUnit.NANOSECONDS)，那么主线程执行offer操作与空闲线程执行的poll操作配对成功，主线程把任务交给空闲线程执行，executor()方法执行完成；否则执行下面的步骤2.
3. 当初始maximumPool为空，或者maximumPool中当前没有空闲线程时，将没有线程执行SynchronousQueue.poll(keepAliveTime,TimeUnit.NANOSECONDS)。这种情况下步骤1将失败。此时CachedThreadPool会创建一个新线程执行任务，executor方法执行完成。
4. 在步骤2中创建的线程将任务执行完后，会执行SynchronousQueue.poll(keepAliveTime,TimeUnit.NANOSECONDS)。这个poll操作会让空闲线程最多在SynchronousQueue中等待60秒。如果60秒内主线程提交了一个新任务，那么这个空闲线程将执行主线程提交的新任务；否则，这个空闲线程将终止。由于空闲60秒的空闲线程会被终止，因此长时间保持空闲的CachedThreadPool不会使用任何资源。

2.  ScheduledThreadPoolExecutor

 　　ScheduledThreadPoolExecutor继承自ThreadPoolExecutor。它主要用来在给定的延迟之后运行任务，或者定期执行任务。

 　　ScheduledThreadPoolExecutor功能与Tiimer类似，但比Timer功能更强大。Timer对应的是单个后台线程，而ScheduledThreadPoolExecutor可以在构造函数中指定多个对应的后台线程数。

Executors可以创建2种类型的ScheduledThreadPoolExecutor：

• ScheduledThreadPoolExecutor：包含若干个线程（固定个数线程）的ScheduledThreadPoolExecutor。适用于需要多个后台线程执行执行周期任务，同时限制后台线程个数 的应用场景。

public static ScheduledExecutorService newScheduledThreadPool(int corePoolSize)
public static ScheduledExecutorService newScheduledThreadPool(int corePoolSize, ThreadFactory threadFactory)

• SingleThreadScheduledExecutor：只包含一个线程的ScheduledThreadPoolExecutor。适用于需要单个后台线程执行周期任务，同时需要保证顺序地执行各个任务的应用场景。

public static ScheduledExecutorService newSingleThreadScheduledExecutor()
public static ScheduledExecutorService newSingleThreadScheduledExecutor(ThreadFactory threadFactory)

　ScheduledThreadPoolExecutor为了实现周期性的执行任务，对ThreadPoolExecutor做了如下修改：

• 使用DelayQueue作为任务队列。
• 获取任务的方式不同。
• 执行周期任务后，增加了额外的处理。

 【注】DelayQueue是一个无界队列，所以ThreadPoolExecutor的maximumPoolSize在ScheduledThreadPoolExecutor中没有什么意义。

　　ScheduledThreadPoolExecutor的执行示意图：

　　

1. 当调用ScheduledThreadPoolExecutor的 scheduleAtFixedRate() 方法或者 scheduleWithFixedDelay() 方法时，会向ScheduledThreadPoolExecutor的DelayQueue添加一个实现了RunnableScheduleFutur接口的ScheduledFutureTask。
2. 线程池中的线程从DelayQueue中获取ScheduledFutureTask，然后执行任务。

【注】

• 它接收SchduledFutureTask类型的任务，有两种提交任务的方式：
  • scheduledAtFixedRate()
  • scheduledWithFixedDelay()

• SchduledFutureTask接收的参数：
  • time：任务开始的时间
  • sequenceNumber：任务的序号
  • period：任务执行的时间间隔

• 它采用DelayQueue存储等待的任务
  • DelayQueue内部封装了一个PriorityQueue，它会对队列中的SchduledFutureTask进行排序。排序时，time小的排在前面（时间早的任务将被先执行），若time相同则根据sequenceNumber排序，sequenceNumber小的排在前面（如果两人无执行时间相同，则先提交的任务将先被执行）。
  • DelayQueue也是一个无界队列；

• 工作线程的执行过程：
  • 工作线程会从DelayQueue取已经到期的任务（SchduledFutureTask）去执行；（到期任务指SchduledFutureTask的time大于当前时间）
  • 执行结束后重新设置任务的到期时间，然后将修改time之后的SchduledFutureTask再次放回DelayQueue中。

总结线程池：