并发编程——进程——生产者消费者模型

一、生产者消费者模型介绍

为什么要使用生产者消费者模型

生产者指的是生产数据的任务，消费者指的是处理数据的任务。

在并发编程中，如果生产者处理速度很快，而消费者处理速度很慢，那么生产者就必须等待消费者处理完，才能继续生产数据。

同样的道理，如果消费者的处理能力大于生产者，那么消费者就必须等待生产者。

为了解决这个问题于是引入了生产者和消费者模式。

什么是生产者和消费者模式

生产者消费者模式是通过一个容器来解决生产者和消费者的强耦合问题。

生产者和消费者彼此之间不直接通讯，而通过阻塞队列来进行通讯，所以生产者生产完数据之后不用等待消费者处理，直接扔给阻塞队列，消费者不找生产者要数据，而是直接从阻塞队列里取，阻塞队列就相当于一个缓冲区，平衡了生产者和消费者的处理能力。

这个阻塞队列就是用来给生产者和消费者解耦的。

二、生产者消费者模型实现

import time
import random
from multiprocessing import Process
from multiprocessing import JoinableQueue


def consumer(q, name):
    while True:
        time.sleep(random.randint(1, 3))
        print(name, "eat", q.get())
        q.task_done()   # 发送信号给q.join()说明已经从队列中取走一个数据并处理完毕了


def producer(q, name, food):
    for i in range(3):
        time.sleep(random.randint(2, 5))
        result = "%s %s" % (food, i)
        q.put(result)
        print(name, "creat", result)
    q.join()    # 等到消费者把自己放入队列中的所有的数据都取走之后，生产者才结束


if __name__ == '__main__':
    queue = JoinableQueue()

    producer1 = Process(target=producer, args=(queue, "producer 1", "红烧肉"))
    producer1.start()
    producer2 = Process(target=producer, args=(queue, "producer 2", "黄焖鸡"))
    producer2.start()
    producer3 = Process(target=producer, args=(queue, "producer 3", "铁板烧"))
    producer3.start()

    consumer1 = Process(target=consumer, args=(queue, "Alex"))
    consumer1.daemon = True
    consumer1.start()
    consumer2 = Process(target=consumer, args=(queue, "Coco"))
    consumer2.daemon = True
    consumer2.start()

    producer1.join()
    producer2.join()
    producer3.join()

输出结果为：

producer 3 creat 铁板烧 0
Coco eat 铁板烧 0
producer 1 creat 红烧肉 0
Alex eat 红烧肉 0
producer 2 creat 黄焖鸡 0
producer 3 creat 铁板烧 1
Coco eat 黄焖鸡 0
producer 1 creat 红烧肉 1
producer 2 creat 黄焖鸡 1
Alex eat 铁板烧 1
producer 3 creat 铁板烧 2
Coco eat 黄焖鸡 1
Alex eat 红烧肉 1
Coco eat 铁板烧 2
producer 1 creat 红烧肉 2
Coco eat 红烧肉 2
producer 2 creat 黄焖鸡 2
Alex eat 黄焖鸡 2