在并发编程中使用生产者和消费者模式能够解决绝大多数并发问题。
该模式通过平衡生产线程和消费线程的工作能力来提高程序的整体处理数据的速度。
生产者线程和消费者线程
在线程世界里,生产者就是生产数据的线程,消费者就是消费数据的线程。
在多线程开发当中,如果生产者处理速度很快,而消费者处理速度很慢,
那么生产者就必须等待消费者处理完,才能继续生产数据。
同样的道理,如果消费者的处理能力大于生产者,那么消费者就必须等待生产者。
阻塞队列
生产者和消费者彼此之间不直接通讯,而通过阻塞队列来进行通讯,
所以生产者生产完数据之后不用等待消费者处理,直接扔给阻塞队列,
消费者不找生产者要数据,而是直接从阻塞队列里取,
阻塞队列就相当于一个缓冲区,平衡了生产者和消费者的处理能力。
这个阻塞队列就是用来给生产者和消费者解耦的。
纵观大多数设计模式,都会找一个第三者出来进行解耦,
如工厂模式的第三者是工厂类,模板模式的第三者是模板类。
在学习一些设计模式的过程中,如果先找到这个模式的第三者,能帮助我们快速熟悉一个设计模式。
多生产者和多消费者场景
在多核时代,多线程并发处理速度比单线程处理速度更快,所以我们可以使用多个线程来生产数据,
同样可以使用多个消费线程来消费数据。而更复杂的情况是,消费者消费的数据,有可能需要继续处理,
于是消费者处理完数据之后,它又要作为生产者把数据放在新的队列里,交给其他消费者继续处理。
我们在一个长连接服务器中使用了这种模式,生产者1负责将所有客户端发送的消息存放在阻塞队列1里,
消费者1从队列里读消息,然后通过消息ID进行hash得到N个队列中的一个,然后根据编号将消息存放在到不同的队列里,
每个阻塞队列会分配一个线程来消费阻塞队列里的数据。如果消费者2无法消费消息,就将消息再抛回到阻塞队列1中,交给其他消费者处理。
读者可以在平时的工作中思考下哪些场景可以使用生产者消费者模式,
我相信这种场景应该非常之多,特别是需要处理任务时间比较长的场景,比如上传附件并处理,用户把文件上传到系统后,系统把文件丢到队列
里,然后立刻返回告诉用户上传成功,
最后消费者再去队列里取出文件处理。比如调用一个远程接口查询数据,
如果远程服务接口查询时需要几十秒的时间,那么它可以提供一个申请查询的接口,这个接口把要申请查询任务放数据库中,然后该接口立刻返
回。然后服务器端用线程轮询并获取申请任务进行处理,
处理完之后发消息给调用方,让调用方再来调用另外一个接口拿数据。
另外Java中的线程池类其实就是一种生产者和消费者模式的实现方式,但是实现方法更高明。
生产者把任务丢给线程池,线程池创建线程并处理任务,
如果将要运行的任务数大于线程池的基本线程数就把任务扔到阻塞队列里,
这种做法比只使用一个阻塞队列来实现生产者和消费者模式显然要高明很多,因为消费者能够处理直接就处理掉了,这样速度更快,而生产者先
存,消费者再取这种方式显然慢一些。
我们的系统也可以使用线程池来实现多生产者消费者模式。
比如创建N个不同规模的Java线程池来处理不同性质的任务,
比如线程池1将数据读到内存之后,交给线程池2里的线程继续处理压缩数据。
线程池1主要处理IO密集型任务,线程池2主要处理CPU密集型任务。