• 并发编程(四)线程池、进程池、协程


    1、进程池

    硬件的发展赶不上软件的速度,电脑硬件不可能支持无线多的线程在运行(程序运行),而“池”的概念就是用来防止电脑趴窝的
    保证硬件安全,最大限度利用电脑。

    ”降低了程序运行效率,保证了硬件安全(硬件的发展赶不上软件的速度)

    创建线程池

    python调包侠,这是 一个高阶模块

    print(n.result())打印任务的返回结束
    
    res=pool.submit(函数名,函数的参数)#提交任务的方式
    
    
    #导入模块
    from concurrent.futures import ThreadPoolExecutor,ProcessPoolExecutor
    #创建线程池
    pool = ThreadPoolExecutor(5)#括号内可以传参数指定线程池内的线程个数。点开源码,不传,默认是当前所在计算机的cpu核心数的5倍
    """
    池子中创建的进程/线程创建一次就不会再创建了
    至始至终用的都是最初的那几个
    这样的话节省了反复开辟进程/线程的资源
    """
    def task(n):
        print(n,os.getpid())  # 查看当前进程号
        time.sleep(2)
        return n**2
    def call_back(n):
        print('拿到了异步提交任务的返回结果:',n.result())
    """
    提交任务的方式
        同步:提交任务之后 原地等待任务的返回结果 期间不做任何事
        异步:提交任务之后 不等待任务的返回结果(异步的结果怎么拿???) 直接执行下一行代码
    
    异步回调机制:当异步提交的任务有返回结果之后,会自动触发回调函数的执行
    
    """
    if __name__ == '__main__':
    
        t_list = []
        for i in range(20):
            res = pool.submit(task,i).add_done_callback(call_back)  # 提交任务的时候 绑定一个回调函数 一旦该任务有结果 立刻执行对于的回调函数
            t_list.append(res)
    
    

    证明是“异步提交”

    线程池

    只需改一下创建池的代码

    pool = ProcessPoolExecutor()  # 默认是当前计算机cpu的个数
    

    协程(理论为主)

    1“协程”完全是程序员自己意淫出的词。实现单线程下的并发!

    并发

    	切换+保存状态。
    	ps:看起来像同时执行的 就可以称之为并发
    

    进程:资源单位
    线程:执行单位
    协程:单线程下实现并发

    **产生并发的条件****?

    多道技术:
    			空间上的复用(多个程序公用一套计算机硬件)
    			时间上的复用(切换+保存状态)	
    

    协程的概念是如何产生的?

    程序员自己通过代码自己检测程序中的IO
    	一旦遇到IO自己通过代码切换
    	给操作系统的感觉是你这个线程没有任何的IO
    	ps:欺骗操作系统 让它误认为你这个程序一直没有IO
    		从而保证程序在运行态和就绪态来回切换
    		提升代码的运行效率
    

    产生疑问:切换+保存状态就一定能够提升效率吗???

    	这个问题要分情况来讨论!
    		当你的任务是iO密集型的情况下  提升效率
    		如果你的任务是计算密集型的    降低效率("切换任务"是需要时间的)
    

    产生疑问:如何保存状态?
    之前"生成器"yield关键词就是用来保存上一次状态的

    计算密集型串行演示(代码不需要掌握)

    #**串行演示**
    import time
    
    def func1():
        for i in range(10000000):
            i+1
    
    def func2():
        for n in range(10000000):
            n+1
    start = time.time()
    func1()
    func2()
    stop = time.time()
    print(stop - start)
    #时间为:1.6270930767059326秒
    

    计算密集型基于yield并发执行(通过将两个函数体代码写在同一个for循环当中)
    注意:yield并不会捕捉time.sleep(),因此他只能够保存状态,不能根据IO进行切换,因此不能做到协程。

    import time
    def func1():
        while True:
            10000000+1
            yield
    
    def func2():
        g=func1()
        for i in range(10000000):
            # time.sleep(100)  # 模拟IO,yield并不会捕捉到并自动切换
            i+1
            next(g)
    
    start=time.time()
    func2()
    stop=time.time()
    print(stop-start)
    #时间为:2.5431454181671143
    

    回顾生成器的小知识

    def func1():
        while True:
            10000000+1
            yield
    #这个函数必须func()加括号调用才是生成器
    

    gevent模块

    yeild无法识别I/O需要找到一个能够识别IO的一个工具,并且能保存状态的工具:gevent模块(该模块需要手动下载)

    检测任务有无IO操作

    from gevent import spawn#检测任务有无IO操作
    

    gevent模块在使用之前也无法识别到time.sleep()等IO情况,需要手动配置一个参数

    #该参数由于经常性用到,则与导入模块写成一行
    from gevent import monkey;monkey.patch_all()
    

    spawn模块如何使用?

    g=spawn(要检测IO的函数名),同时点开源码,它有一个返回值,因此赋值给G。
    
    传入函数名,它会自动加括号调用
    

    关于切换:

    切换是发生在代码层面,操作系统并不知情
    

    代码部分:
    spawn的原理:spawn相当于一个列表,spawn()内一个放入一个列表,一个个检测,一个有io执行下一个,同时保存状态

    from gevent import monkey;monkey.patch_all()  # 由于该模块经常被使用 所以建议写成一行
    from gevent import spawn
    import time
    def heng():
        print("哼")
        time.sleep(2)
        print('哼')
    
    def ha():
        print('哈')
        time.sleep(3)
        print('哈')
    
    def heiheihei():
        print('嘿嘿嘿')
        time.sleep(5)
        print('嘿嘿嘿')
    
    start = time.time()
    g1 = spawn(heng)
    g2 = spawn(ha)  # spawn会检测所有的任务
    g3 = spawn(heiheihei)
    g1.join()
    g2.join()
    g3.join()
    
    print(time.time() - start)
    #时间为5.008286476135254
    
    

    结论:程序员之前通过yield实现单线程的切换+保存状态高效率的使用cpu,但是他不能识别sleep等操作,使用gevent模块来弥补sleep的不足,最终实现单线程的并发!!

    基于上述,让TCP服务端实现并发?

    客户端:

    import socket
    from threading import Thread,current_thread
    
    
    def client():
        client = socket.socket()
        client.connect(('127.0.0.1',8080))
        n = 0
        while True:
    
            data = '%s %s'%(current_thread().name,n)
            client.send(data.encode('utf-8'))
            res = client.recv(1024)
            print(res.decode('utf-8'))
            n += 1
    
    for i in range(400):
        t = Thread(target=client)
        t.start()
    

    服务端:
    分析:实现单线程下的并发,要用到gevent模块中的spawn,将可能出现IO操作的函数名放入里面,而服务端根据作用的不同可分为两个函数:站在门口接客的conn,addr = server.accept(),和用来收发信息的函数,同时线程需要写在main下。

    将conn的函数名放入spawn括号中,再将talk函数名的spawn,卸载conn的函数内,这样做到spawn一个函数就可以同时检测两个函数的IO操作。

    from gevent import monkey;monkey.patch_all()
    import socket
    from gevent import spawn
    
    
    server = socket.socket()
    server.bind(('127.0.0.1',8080))
    server.listen(5)
    
    
    def talk(conn):
        while True:
            try:
                data = conn.recv(1024)
                if len(data) == 0:break
                print(data.decode('utf-8'))
                conn.send(data.upper())
            except ConnectionResetError as e:
                print(e)
                break
        conn.close()
    
    def server1():
        while True:
            conn, addr = server.accept()
            spawn(talk,conn)
    
    if __name__ == '__main__':
        g1 = spawn(server1)
        g1.join()
    
    

    总结:

    	多进程下开多线程
    	多线程下再开协程
  • 相关阅读:
    206. 反转链表
    917. 仅仅反转字母
    哈希表的设计
    387. 字符串中的第一个唯一字符
    Mysql重连错误
    MySQL数据库的优化
    XML基础知识
    JS中的DOM与BOM
    JS中的函数,Array对象,for-in语句,with语句,自定义对象,Prototype
    表格标签,图片标签,框架标签,表单标签
  • 原文地址:https://www.cnblogs.com/ZDQ1/p/11358695.html
Copyright © 2020-2023  润新知