• 进程池与线程池


    1.什么是池

    在保证计算机安全的情况下最大限度的利用计算机

    池虽然降低了程序的运行效率,但是保证了硬件的安全(硬件的发展跟不上软件的速度)

    2.属性介绍

     1.concurrent.futures 模块提供了高度封装的异步调用接口
    
     2.ThreadPoolExecutor:线程池:提供异步调用
    
     3.ProcessPoolExecutor: 进程池,提供异步调用

    3.基本方法

     1.submit()  异步提交任务
    
     2.result() 取得结果
    
     3.add_done_callback(fn) 回调函数
    
     4.shutdown() 关闭池子

    4.线程池使用

    from concurrent.futures import ThreadPoolExecutor
    import time
    
    
    pool = ThreadPoolExecutor(5)  # 括号内可以传参数指定线程池内的线程个数,如果不传,默认是当前所在计算机的cpu个数乘5
    
    def task(n):
        print(n)
        time.sleep(1)
        return n ** 2  # 返回一个结果
    
    # pool.submit(task,1)  # 朝线程池中提交任务   异步提交
    # print('主')
    
    
    t_list = []
    for i in range(20):  # 这里一次性提供了20个,但是上方的线程个数只有5个,所以打印结果就会以5个一次打印,直到取完
        res = pool.submit(task,i)  # 朝线程池中提交任务   异步提交
        # print(res.result())  # 原地等待任务返回结果
        t_list.append(res)
    pool.shutdown()  # 关闭池子 等待池子中所有的任务执行完毕之后 才会往下运行代码
    for p in t_list:
        print(p.result())

    5.进程池使用

    from concurrent.futures import ProcessPoolExecutor
    import time
    import os
    
    
    pool = ProcessPoolExecutor(6)  # 如果不传,默认是当前计算机cpu的个数
    """
    池子中创建的进程/线程创建一次就不会再创建了
    至始至终用的都是最初的那几个
    这样的话节省了反复开辟进程/线程的资源
    """
    
    def task(n):
        print(n,os.getpid())  # 查看当前进程号
        time.sleep(2)
        return n**2
    
    
    def call_back(n):
        print('拿到了异步提交任务的返回结果:',n.result())
    
    """
    异步回调机制:当异步提交的任务有返回结果之后,会自动触发回调函数的执行
    """
    if __name__ == '__main__':
    
        t_list = []
        for i in range(20):
            res = pool.submit(task,i).add_done_callback(call_back)  # 提交任务的时候 绑定一个回调函数 一旦该任务有结果 立刻执行对于的回调函数
    
            t_list.append(res)
  • 相关阅读:
    常见sql注入的防范总结
    Hadoop各个组件与端口
    Jenkins HA高可用参考
    zookeeper的主要应用
    Jenkins常见REST API(便于将Jenkins集成到其他系统)
    使用pscp/pslurp批量并发分发/回收文件
    kv数据库对比总结
    /usr/bin/curl: Argument list too long的解决方法
    优秀的开源监控系统梳理
    Linux socat轻松实现TCP/UDP端口转发
  • 原文地址:https://www.cnblogs.com/xiongying4/p/11358355.html
Copyright © 2020-2023  润新知