• multiprocess.Queue(对列的用法)


    队列——multiprocess.Queue

    补充: queue不适合传大文件,通产传一些消息.

    内存画出一片范围作为共享内存,用来通信# # #pipe,底层基于共享内存
    
    1. ipc机制 进程通讯

    2. 管道pipe 基于共享的内存空间

    3. 队列 pipe+锁 queue(队列)

    4. 创建共享的进程队列,Queue是多进程安全的队列,可以使用Queue实现多进程之间的数据传递。

      Queue([maxsize])创建共享的进程队列。
      参数 :maxsize是队列中允许的最大项数。如果省略此参数,则无大小限制。

      底层队列使用管道和锁定实现。

    先进先出用法

    先进先出用法1(取值堵塞)

    from multiprocessing import Process,Queue
    q = Queue()
    q.put('ocean')
    q.put(2)
    q.put([1,2,3])
    print(q.get())
    print(q.get())
    print(q.get())
    print(q.get())#由于在队列管道里只存储了3个指,当取到第四个的时候会发生阻塞,导致程序一直不会结束,等待接收值
    #############
    ocean
    2
    [1, 2, 3]
    
    

    先进先出用法2(放值堵塞)

    from multiprocessing import Process,Queue
    q= Queue(3)#定义队列的大小
    q.put('ocean')
    q.put('sky')
    q.put(2)
    q.put('chen')#队列满了的情况下继续放值,会堵塞,等待放值
    

    了解的先进先出用法(block,timeout)

    了解先进先出用法1

    from multiprocessing import Process,Queue
    q = Queue(3)
    q.put('ocean',block=True,timeout=2)#block=True,默认堵塞,如果满了会堵塞等待,timeout=n,最对等待n秒,如果n秒后还是队列还是满的就报错了
    q.put('ocean',block=True,timeout=2)#block=True,默认堵塞,如果满了会堵塞等待,timeout=n,最对等待n秒,如果n秒后还是队列还是满的就报错了
    q.put('ocean',block=True,timeout=2)#block=True,默认堵塞,如果满了会堵塞等待,timeout=n,最对等待n秒,如果n秒后还是队列还是满的就报错了
    q.put('ocean',block=True,timeout=2)#block=True,默认堵塞,如果满了会堵塞等待,timeout=n,最对等待n秒,如果n秒后还是队列还是满的就报错了
    ######################################
    queue.Full
    

    了解先进先出用法2

    from multiprocessing import Process,Queue
    q= Queue()
    q.put('ocean')
    q.get()
    q.get(block=True,timeout=3)# block=True 阻塞等待,timeout最多等3s,如果3秒后还是队列还是满的就报错了
    ###################
    queue.Empty
    

    了解先进先出用法3

    from multiprocessing import Process,Queue
    q = Queue(3)
    q.put('ocean')
    q.put('sky')
    q.put('chen')
    q.put('oceansky',block=False)#对于block=False来说,如果出现队列满了就会直接报错
    ###############
    queue.full
    

    了解先进先出用法4

    from multiprocessing import Queue
    q = Queue()
    q.put('ocean')
    q.get()
    q.get(block=False)#拿不到直接报错,无需等待
    #################
    queue.Empty
    

    了解先进先出用法5

    from multiprocessing import Queue
    q = Queue(1)
    q.put(123)
    q.put_nowait('666')#放不进去,直接报错
    

    了解先进先出用法6

    from multiprocessing import Queue
    q = Queue(1)
    q.get()
    q.get_nowait()##拿不到值直接报错
    
    

    了解先进先出用法7

    from multiprocessing import Queue
    import time
    q = Queue()
    q.put(123)
    # print(q.get())
    # time.sleep(2)
    # print(q.empty())
    # time.sleep(1)
    print(q.get_nowait())
    print(q.empty())#Ture列表为空
    
    

    其他用法

    Queue([maxsize]):创建共享的进程队列。maxsize是队列中允许的最大项数。如果省略此参数,则无大小限制。底层队列使用管道和锁定实现。另外,还需要运行支持线程以便队列中的数据传输到底层管道中。
    Queue的实例q具有以下方法:

    q.get( [ block [ ,timeout ] ] ):返回q中的一个项目。如果q为空,此方法将阻塞,直到队列中有项目可用为止。block用于控制阻塞行为,默认为True. 如果设置为False,将引发Queue.Empty异常(定义在Queue模块中)。timeout是可选超时时间,用在阻塞模式中。如果在制定的时间间隔内没有项目变为可用,将引发Queue.Empty异常。

    q.get_nowait() :同q.get(False)方法。

    q.put(item [, block [,timeout ] ] ) :将item放入队列。如果队列已满,此方法将阻塞至有空间可用为止。block控制阻塞行为,默认为True。如果设置为False,将引发Queue.Empty异常(定义在Queue库模块中)。timeout指定在阻塞模式中等待可用空间的时间长短。超时后将引发Queue.Full异常。

    q.qsize() :返回队列中目前项目的正确数量。此函数的结果并不可靠,因为在返回结果和在稍后程序中使用结果之间,队列中可能添加或删除了项目。在某些系统上,此方法可能引发NotImplementedError异常。

    q.empty() :如果调用此方法时 q为空,返回True。如果其他进程或线程正在往队列中添加项目,结果是不可靠的。也就是说,在返回和使用结果之间,队列中可能已经加入新的项目。

    q.full() :如果q已满,返回为True. 由于线程的存在,结果也可能是不可靠的(参考q.empty()方法)。

    了解方法

    q.close() :关闭队列,防止队列中加入更多数据。调用此方法时,后台线程将继续写入那些已入队列但尚未写入的数据,但将在此方法完成时马上关闭。如果q被垃圾收集,将自动调用此方法。关闭队列不会在队列使用者中生成任何类型的数据结束信号或异常。例如,如果某个使用者正被阻塞在get()操作上,关闭生产者中的队列不会导致get()方法返回错误。

    q.cancel_join_thread() :不会再进程退出时自动连接后台线程。这可以防止join_thread()方法阻塞。

    q.join_thread() :连接队列的后台线程。此方法用于在调用q.close()方法后,等待所有队列项被消耗。默认情况下,此方法由不是q的原始创建者的所有进程调用。调用q.cancel_join_thread()方法可以禁止这种行为。

  • 相关阅读:
    2. redis的数据类型
    1. redis简介
    6. 职责链设计模式
    9. 桥梁设计模式
    一. 序言
    网络中常见的面试题
    JDBC
    Mybatis批量操作数据的方法
    ORM框架的概述
    Mybatis动态sql技术
  • 原文地址:https://www.cnblogs.com/SkyOceanchen/p/11537598.html
Copyright © 2020-2023  润新知