并发编程之协程

一 线程补充内容

1.异步回调

　　a交给b一个任务,b在执行完成后回过头调用了a的一个函数,就称之为回调。

　　异步调用是指发生任务后不需要关心任务的执行过程，可以继续往下运行，那么要如何拿到异步调用的结果呢？对异步调用使用join的方法可以拿到结果，但是这样造成了阻塞，降低了程序的运行效率，而异步回调就是高效的获取任务结果。

　　通常异步任务会和异步回调一起使用，使用方式：使用add_done_callback函数给Future对象绑定一个回调函数。多进程与多线程执行回调函数的方式不一样，在多进程中回调函数时交给主进程来执行的，而在多线程中回调函数是哪个子线程有空就哪个子线程执行（子线程不会执行回调函数）。

import requests,re,os
from concurrent.futures import ProcessPoolExecutor

def get_data(url):
    print("%s进程正在请求爬取%s"%(os.getpid(),url))
    response = requests.get(url)
    print("%s进程爬取%s成功"%(os.getpid(),url))
    return response

def parser(obj):
    res = obj.result()
    htm = res.content.decode('utf-8')
    htm_list = re.findall("href=.*?com",htm)
    print("%s进程解析数据成功总共有%s个连接"%(os.getpid(),len(htm_list)))

if __name__ == '__main__':
    urls = ["https://www.baidu.com",
            "https://www.sina.com",
            "https://www.tmall.com",
            "https://www.taobao.com",
            "https://www.jd.com",
            "https://www.python.org",
            "https://www.apple.com"]
    pool = ProcessPoolExecutor(3)
    for url in urls:
        obj = pool.submit(get_data,url)
        obj.add_done_callback(parser)

import requests,re,os
from concurrent.futures import ThreadPoolExecutor
from threading import current_thread
def get_data(url):
    print("%s线程正在请求爬取%s"%(current_thread().name,url))
    response = requests.get(url)
    print("%s线程爬取%s成功"%(current_thread().name,url))
    return response

def parser(obj):
    res = obj.result()
    htm = res.content.decode('utf-8')
    htm_list = re.findall("href=.*?com",htm)
    print("%s线程解析数据成功总共有%s个连接"%(current_thread().name,len(htm_list)))

if __name__ == '__main__':
    urls = ["https://www.baidu.com",
            "https://www.sina.com",
            "https://www.tmall.com",
            "https://www.taobao.com",
            "https://www.jd.com",
            "https://www.python.org",
            "https://www.apple.com"]
    pool = ThreadPoolExecutor(3)
    for url in urls:
        obj = pool.submit(get_data,url)
        obj.add_done_callback(parser)

2.线程队列

　　线程与进程队列的不同之处就是进程队列可以被多个进程共享，而线程队列只是一个普通的容器，不能线程分享。

　　线程队列的分类：1.先进先出的队列 2.先进后出的队列（栈）3.优先级队列（取出顺序是 由小到大 优先级可以使数字或字符 只要能够比较大小即可）。

3.线程事件（Event）

　　线程的一个关键特性是每个线程都是独立运行且状态不可预测。如果程序中其他线程需要通过判断某个线程的状态来确定自己的下一步操作，这时线程同步问题就会变得非常棘手，而Event对象便可以解决这个问题。Event对象包含一个可由线程设置的信号标志，它允许线程等待某些事件的发生。在初始情况下，Event对象中的信号标志被设置为假。如果有线程等待一个Event对象，而这个Event对象的标志是假，那么这个线程将会一直被阻塞直至该标志为真。一个线程如果将一个Event对象的信号标志位设置为真，它将唤醒所有等待这个Event对象的线程。如果一个线程等待一个已经被设置为真的Event对象，那么它将忽略这个事件，继续执行。

import time
from threading import Thread
from threading import Event

# 创建一个事件
e = Event() #默认False
def start():

    print("正在启动服务器......")
    time.sleep(5)
    print("服务器启动成功!")
    e.set() # 就是把事件的值设置为True

def connect():
    # 重试3次
    for i in range(3):
        print("等待服务器启动....")
        e.wait(1) # 会阻塞 直到对方把事件设置为True
        if e.isSet():
            print("连接成功!")
            break
        else:
            print("连接失败")
    else: #如果3次都没成功 就打印这个消息
        print("服务器没有启动")

Thread(target=start).start()
Thread(target=connect).start()

二 协程

协程指的值单线程下的并发，又称微线程、纤程。因为名Coroutine。一句话说明说明是协程：协程是一种用户态的轻量级线程，即协程是由用户程序自己控制调度的。

需要强调的是：

#1.python的线程属于内核级别，即由操作系统控制调度（如单线程遇到io或者执行时间过长
#就会被迫交出cpu的执行权限，cpu会切换至其他线程运行）。
#2单线程内开启协程，一旦遇到io操作，就会从应用程序级别（而非操作系统）控制切换，以#此来提升效率（注意：非IO操作的切换与效率无关）。

对比操作系统控制线程的切换，用户在单线程内控制协程的切换

优点如下：

　　1.协程的切换开销更小，属于程序级别的切换，操作系统完全感知不到，因而更加轻量级。

　　2.单线程内就可以实现并发效果，最大限度的利用cpu。

缺点如下：

　　1.协程的本质是单线程下，无法利用多核，可以是一个程序开启多个进程，每个进程内开启多个线程，每个线程内开启线程。

　　2.协程指的是单个线程，因而一旦协程出现阻塞，将会阻塞整个线程。

总结协程特点：

　　1.必须在只有一个单线程里实现并发

　　2.修改共享数据不需要加锁

　　3.用户程序里自己保存多个控制流的上下文栈

　　4.一个协程遇到IO操作会自动切换到其他协程（如何实现检测IO，yield、greenlet都无法实现，就用到了gevent模块（select机制））。

如何实现单线程并发

　　并发 = 切换任务+保存状态，只要找到一种方案，能够在两个任务之间切换执行并且保存状态，那么就可以实现单线程并发。

1.生成器实现单线程并发

　　python中的生成器具备这样一个特点，每次调用next都会执行回到生成器函数中执行代码，这意味着任务之间可以切换，并且是基本上一次运行的结果，这意味着生成器会自动保存执行状态！

def task1():
    while True:
        yield
        print("task1 run")

def task2():
    g = task1()
    while True:
        next(g)
        print("task2 run")
task2()

并发虽然实现了，但是这对效率影响是好是坏呢？来测试一下。

# 两个计算任务一个采用生成器切换并发执行  一个直接串行调用
import  time
def task1():
    a = 0
    for i in range(10000000):
        a += i
        yield

def task2():
    g = task1()
    b = 0
    for i in range(10000000):
        b += 1
        next(g)
s = time.time()
task2()
print("并发执行时间",time.time()-s)

# 单线程下串行执行两个计算任务 效率反而比并发高 因为并发需要切换和保存
def task1():
    a = 0
    for i in range(10000000):
        a += i
def task2():
    b = 0
    for i in range(10000000):
        b += 1
s = time.time()
task1()
task2()
print("串行执行时间",time.time()-s)

可以看到对于纯计算任务而言，单线程并发反而使执行效率下降了一半左右，所以这样的方案对于纯计算任务而言是没有必要的

我们暂且不考虑这样的并发对程序的好处是什么，在上述代码中，使用yield来切换是的代码结构非常混乱，如果十个任务需要切换呢，不敢想象！因此就有人专门对yield进行了封装，这便有了greenlet模块。

2.greenlet模块实现单线程并发

def task1(name):
    print("%s task1 run1" % name)
    g2.switch(name) # 切换至任务2
    print("task1 run2") 
    g2.switch() # 切换至任务2

def task2(name):
    print("%s task2 run1" % name)
    g1.switch() # 切换至任务1
    print("task2 run2")

g1 = greenlet.greenlet(task1)
g2 = greenlet.greenlet(task2)
g1.switch("jerry") # 为任务传参数

模拟IO操作

import greenlet
import time

def task1():
    print("task1 run")
    time.sleep(10)
    g2.switch()
    print("task1 run")

def task2():
    print("task2 run")
    g1.switch()

g1 = greenlet.greenlet(task1)
g2 = greenlet.greenlet(task2)
g1.switch()

发现在task1遇到IO操作时，不会进行CPU的切换。

该模块简化了yield复杂的代码结构，实现了单线程下多任务并发，但是无论直接使用yield还是greenlet都不能检测IO操作，遇到IO时同样进入阻塞状态，所以此时的并发是没有任何意义的。

现在我们需要一种方案 即可检测IO 又能够实现单线程并发，于是gevent闪亮登场。

3.gevenr（协程）实现单线程并发

import gevent,sys
from gevent import monkey
monkey.patch_all()
import time

print(sys.path)

def task1():
    print("task1 run")
    # gevent.sleep(3)
    time.sleep(3)
    print("task1 over")

def task2():
    print("task2 run")
    # gevent.sleep(1)
    time.sleep(1)
    print("task2 over")

g1 = gevent.spawn(task1)
g2 = gevent.spawn(task2)
gevent.joinall([g1,g2])