• 第三十二章 协程


    我们知道GIL锁将导致CPython无法利用多核CPU的优势,只能使用单核并发的执行。很明显效率不高,那有什么办法能够提高效率呢?

    效率要高只有一个方法就是让这个当前线程尽可能多的占用CPU时间,如何做到?

    任务类型可以分为两种 IO密集型 和 计算密集型

    对于计算密集型任务而言 ,无需任何操作就能一直占用CPU直到超时为止,没有任何办法能够提高计算密集任务的效率,除非把GIL锁拿掉,让多核CPU并行执行。

    对于IO密集型任务任务,一旦线程遇到了IO操作CPU就会立马切换到其他线程,而至于切换到哪个线程,应用程序是无法控制的,这样就导致了效率降低。

    如何能提升效率呢?想一想如果可以监测到线程的IO操作时,应用程序自发的切换到其他的计算任务,是不是就可以留住CPU?的确如此

    一、单线程实现并发

    单线程实现并发这句话乍一听好像在瞎说

    首先需要明确并发的定义

    并发:指的是多个任务同时发生,看起来好像是同时都在进行

    并行:指的是多个任务真正的同时进行

    早期的计算机只有一个CPU,既然CPU可以切换线程来实现并发,那么为何不能再线程中切换任务来并发呢?

    上面的引子中提到,如果一个线程能够检测IO操作并且将其设置为非阻塞,并自动切换到其他任务就可以提高CPU的利用率,指的就是在单线程下实现并发。

    如何能够实现并发呢

    并发 = 切换任务+保存状态,只要找到一种方案,能够在两个任务之间切换执行并且保存状态,那就可以实现单线程并发

    python中的生成器就具备这样一个特点,每次调用next都会回到生成器函数中执行代码,这意味着任务之间可以切换,并且是基于上一次运行的结果,这意味着生成器会自动保存执行状态!

    于是乎我们可以利用生成器来实现并发执行:

    def task1():
       while True:
           yield
           print("task1 run")

    def task2():
       g = task1()
       while True:
           next(g)
           print("task2 run")
    task2()

    并发虽然实现了,单这对效率的影响是好是坏呢?来测试一下

    # 两个计算任务一个采用生成器切换并发执行  一个直接串行调用
    import  time
    def task1():
       a = 0
       for i in range(10000000):
           a += i
           yield

    def task2():
       g = task1()
       b = 0
       for i in range(10000000):
           b += 1
           next(g)
    s = time.time()
    task2()
    print("并发执行时间",time.time()-s)

    # 单线程下串行执行两个计算任务 效率反而比并发高 因为并发需要切换和保存
    def task1():
       a = 0
       for i in range(10000000):
           a += i
    def task2():
       b = 0
       for i in range(10000000):
           b += 1
    s = time.time()
    task1()
    task2()
    print("串行执行时间",time.time()-s)

    可以看到对于纯计算任务而言,单线程并发反而使执行效率下降了一半左右,所以这样的方案对于纯计算任务而言是没有必要的

    我们暂且不考虑这样的并发对程序的好处是什么,在上述代码中,使用yield来切换是的代码结构非常混乱,如果十个任务需要切换呢,不敢想象!因此就有人专门对yield进行了封装,这便有了greenlet模块

    greenlet模块实现并发

    def task1(name):
       print("%s task1 run1" % name)
       g2.switch(name) # 切换至任务2
       print("task1 run2")
       g2.switch() # 切换至任务2

    def task2(name):
       print("%s task2 run1" % name)
       g1.switch() # 切换至任务1
       print("task2 run2")

    g1 = greenlet.greenlet(task1)
    g2 = greenlet.greenlet(task2)
    g1.switch("jerry") # 为任务传参数

    该模块简化了yield复杂的代码结构,实现了单线程下多任务并发,但是无论直接使用yield还是greenlet都不能检测IO操作,遇到IO时同样进入阻塞状态,所以此时的并发是没有任何意义的。

    现在我们需要一种方案 即可检测IO 又能够实现单线程并发,于是gevent闪亮登场

    二、协程概述

    协程:是单线程下的并发,又称微线程,纤程。英文名Coroutine。一句话说明什么是线程:协程是一种用户态的轻量级线程,即协程是由用户程序自己控制调度的。

    需要强调的是:

    #1. python的线程属于内核级别的,即由操作系统控制调度(如单线程遇到io或执行时间过长就会被迫交出cpu执行权限,切换其他线程运行)
    #2. 单线程内开启协程,一旦遇到io,就会从应用程序级别(而非操作系统)控制切换,以此来提升效率(!!!非io操作的切换与效率无关)

    对比操作系统控制线程的切换,用户在单线程内控制协程的切换

    优点如下:

    #1. 协程的切换开销更小,属于程序级别的切换,操作系统完全感知不到,因而更加轻量级
    #2. 单线程内就可以实现并发的效果,最大限度地利用cpu

    缺点如下:

    #1. 协程的本质是单线程下,无法利用多核,可以是一个程序开启多个进程,每个进程内开启多个线程,每个线程内开启协程来尽可能提高效率
    #2. 协程本质是单个线程,因而一旦协程出现阻塞,将会阻塞整个线程

    gevent协程的使用

    import gevent,sys
    from gevent import monkey # 导入monkey补丁
    monkey.patch_all() # 打补丁
    import time

    print(sys.path)

    def task1():
       print("task1 run")
       # gevent.sleep(3)
       time.sleep(3)
       print("task1 over")

    def task2():
       print("task2 run")
       # gevent.sleep(1)
       time.sleep(1)
       print("task2 over")

    g1 = gevent.spawn(task1)
    g2 = gevent.spawn(task2)
    #gevent.joinall([g1,g2])
    g1.join()
    g2.join()
    # 执行以上代码会发现不会输出任何消息
    # 这是因为协程任务都是以异步方式提交,所以主线程会继续往下执行,而一旦执行完最后一行主线程也就结束了,
    # 导致了协程任务没有来的及执行,所以这时候必须join来让主线程等待协程任务执行完毕   也就是让主线程保持存活
    # 后续在使用协程时也需要保证主线程一直存活,如果主线程不会结束也就意味着不需要调用join

    需要注意:

    1.如果主线程结束了 协程任务也会立即结束。

    2.monkey补丁的原理是把原始的阻塞方法替换为修改后的非阻塞方法,即偷梁换柱,来实现IO自动切换

    必须在打补丁后再使用相应的功能,避免忘记,建议写在最上方

    monke补丁案例:

    #myjson.py
    def dump():
       print("一个被替换的 dump函数")

    def load():
       print("一个被替换的 load函数")
    # test.py
    import myjson
    import json
    # 补丁函数
    def monkey_pacth_json():
       json.dump = myjson.dump
       json.load = myjson.load
       
    # 打补丁
    monkey_pacth_json()

    # 测试
    json.dump()
    json.load()
    # 输出:
    # 一个被替换的 dump函数
    # 一个被替换的 load函数

     

  • 相关阅读:
    java反射
    2018 Multi-University Training Contest 4 Problem B. Harvest of Apples 【莫队+排列组合+逆元预处理技巧】
    逆元小结
    2018 Multi-University Training Contest 1 Distinct Values 【贪心 + set】
    Codeforces Round #533 (Div. 2) C. Ayoub and Lost Array 【dp】
    Codeforces Round #533 (Div. 2) B. Zuhair and Strings 【模拟】
    2018 Multi-University Training Contest 3 Problem F. Grab The Tree 【YY+BFS】
    ZOJ Monthly, January 2019 Little Sub and his Geometry Problem 【推导 + 双指针】
    ZOJ Monthly, January 2019 Little Sub and Isomorphism Sequences 【离线离散化 + set + multiset】
    EOJ Monthly 2019.1 唐纳德先生与这真的是签到题吗 【数学+暴力+multiset】
  • 原文地址:https://www.cnblogs.com/sry622/p/10985905.html
Copyright © 2020-2023  润新知