python 线程之 数据同步 Queue

Queue:将数据从一个线程发往另外一个线程比较通用的方式是使用queue模块的Queue类

1, 首先创建一个Queue模块的对象，创建Queue对象可以传递maxsize也可以不传递

2. 使用对象的put和get函数用来添加和移除元素。

import _thread
import queue
import time

consumercount = 2
producercount = 4
nummessages = 4

safeprint = _thread.allocate_lock()
dataQueue = queue.Queue()


def producer(idnum):
    for msgnum in range(nummessages):
        time.sleep(idnum)
        dataQueue.put('producer id = {0},count={1}'.format(idnum, msgnum))

def consumer(idnum):
    while True:
        time.sleep(0.1)
        try:
            data = dataQueue.get(block=False)
        except queue.Empty:
            pass
        else:
            with safeprint:
                print('consumer id = {0}, got => {1}'.format(idnum, data))

if __name__ == "__main__":
    for i in range(producercount):
        _thread.start_new_thread(producer, (i,))
    for i in range(consumercount):
        _thread.start_new_thread(consumer, (i,))
    time.sleep(10)
    print('main process existing')

在调用get的方法时，如果设置block为True，那么队列为空的时候调用get方法，会使调用线程阻塞。

当使用队列，如何对生产者和消费者的关闭过程进行同步。一般情况下使用一个特殊的终止值，当将这个值放入队列时消费者线程退出

import queue
import time
import threading

_sentinel = object()
dataQueue = queue.Queue()


def producer(out_q):
    n = 0
    while n < 10:
        n += 1
        dataQueue.put('input {0}'.format(n))

    dataQueue.put(_sentinel)


def consumer(in_q):
    while True:
        data = in_q.get(block=False)
        if data is _sentinel:
            in_q.put(_sentinel)
            break
        print(data)
        time.sleep(1)

threading.Thread(target=producer, args=(dataQueue,)).start()
threading.Thread(target=consumer, args=(dataQueue,)).start()

在这个实例中，当消费者接收到这个特殊的终止值后，会立刻将其重新放回到队列中，这么做使得在同一队列上监听其他消费者线程也能接收到终止值。因此可以一个一个地将他们都关闭掉。

Queue为线程安全的类型，所以在添加和移除的过程中会自动获取所需的锁。