• python多任务的导包问题


    多线程的使用:

      import threading


      def func(x):
        print(x)
      t= threading.Thread(target=func,args=(12,))
      # 线程启动
      t.start()
      # 主进程阻塞,等待子进程的退出
      t.join()
        # 设置线程为主线程的守护线程
      t.setDaemon()


    多进程的使用
      from multiprocessing import Process
      def func(x):
        print(x)
      p = Process(target=func,args=(12,))
      p.start()# 启动子进程实例(创建子进程)
      p.is_alive()# 判断进程子进程是否还在活着
      p.join(timeout)# 是否等待子进程执行结束,或者等待多少秒
      p.terminate()# 不管任务是否完成,立即终止子进程
      p.daemon = True # 设置守护进程


    线程池、进程池的使用:
      # 进程池
      from multiprocessing import Pool


      # 线程池
      from multiprocessing.dummy import Pool
      pool = Pool(5) # 同时最大运行线程或者进程个数


      def _excute(x,y):
        print(x+y)
      def _callback(self, temp): # temp必有参数
        print("线程或进程任务完成后的回调")


      pool.apply_async(target=_excute, callback=_callback)
      poll.close()# 关闭Pool,使其不再接受新的任务;
      poll.terminate()# 不管任务是否完成,立即终止;
      poll.join()# 主进程阻塞,等待子进程的退出,必须在close或terminate之后使用

    进程或者线程的间通信工具--Queue

      # 线程池、多线程 使用的Queue
      from queue import Queue


      # 多进程使用的queue
      from multiprocessing import JoinableQueue as Queue


      # 进程池使用的queue
      from multiprocessing import Manager


      queue = Manager().Queue()
      queue = Queue()


      queue.qsize()# 返回当前队列包含的消息数量。
      queue.empty()# 如果队列为空,返回True,反之False。
      queue.full()# 如果队列满了,返回True,反之False。
      queue.put(item, block=True, timeout=None)


      将item消息写入队列,block默认值为True;
      如果block使用默认值,且没有设置timeout(单位秒),消息列队如果已经没有空间可写入,此时程序将被阻塞(停
      在写入状态),直到从消息列队腾出空间为止,如果设置了timeout,则会等待timeout秒,若还没空间,则抛
      出"Queue.Full"异常;
      如果block值为False,消息列队如果没有空间可写入,则会立刻抛出"Queue.Full"异常;

      
      queue.get(item, block=True, timeout=None)
     
      获取队列中的一条消息,然后将其从队列中移除,block默认值为True。如果block使用默认值,且没有设置
      timeout(单位秒),消息列队如果为空,此时程序将被阻塞(停在读取状态),直到从消息列队读到消息为止,如果
      设置了timeout,则会等待timeout秒,若还没读取到任何消息,则抛出"Queue.Empty"异常;
      如果block值为False,消息列队如果为空,则会立刻抛出"Queue.Empty"异常;
     
      # get方法并不能让queue的计数-1,必须调用task_done
      queue.task_done()

  • 相关阅读:
    行为模式
    行为模式
    行为模式
    行为模式
    行为模式
    结构模式
    kafka 学习整理
    Hive文件格式,以及ORC创建使用
    GBDT 介绍
    机器学习中的特征工程 —— 七月在线总结
  • 原文地址:https://www.cnblogs.com/skaarl/p/9665606.html
Copyright © 2020-2023  润新知