本节内容:
1、协程(重点:gevent)
2、IO多路复用
一、协程
1、引子
本节的主题是基于单线程来实现并发,即只用一个主线程(很明显可利用的cpu只有一个)情况下实现并发,
为此我们需要先回顾下并发的本质:切换+保存状态
cpu正在运行一个任务,会在两种情况下切走去执行其他的任务(切换由操作系统强制控制),
一种情况是该任务发生了阻塞,另外一种情况是该任务计算的时间过长或有一个优先级更高的程序替代了它
协程本质上就是一个线程,以前线程任务的切换是由操作系统控制的,遇到I/O自动切换,
现在我们用协程的目的就是较少操作系统切换的开销(开关线程,创建寄存器、堆栈等,在他们之间进行切换等),
在我们自己的程序里面来控制任务的切换。
ps:在介绍进程理论时,提及进程的三种执行状态,而线程才是执行单位,所以也可以将上图理解为线程的三种状态
一:其中第二种情况并不能提升效率,只是为了让cpu能够雨露均沾,实现看起来所有任务都被“同时”执行的效果,
如果多个任务都是纯计算的,这种切换反而会降低效率。
为此我们可以基于yield来验证。
yield本身就是一种在单线程下可以保存任务运行状态的方法,我们来简单复习一下:
#1 yiled可以保存状态,yield的状态保存与操作系统的保存线程状态很像,但是yield是代码级别控制的,更轻量级
#2 send可以把一个函数的结果传给另外一个函数,以此实现单线程内程序之间的切换
通过yield实现任务切换+保存状态
单纯的切换反而会降低运行效率
2、协程就是告诉Cpython解释器,你不是nb吗,不是搞了个GIL锁吗,
那好,我就自己搞成一个线程让你去执行,省去你切换线程的时间,我自己切换比你切换要快很多,避免了很多的开销,
对于单线程下,我们不可避免程序中出现io操作,但如果我们能在自己的程序中(即用户程序级别,而非操作系统级别)
控制单线程下的多个任务能在一个任务遇到io阻塞时就切换到另外一个任务去计算,
这样就保证了该线程能够最大限度地处于就绪态,即随时都可以被cpu执行的状态,
相当于我们在用户程序级别将自己的io操作最大限度地隐藏起来,从而可以迷惑操作系统,
让其看到:该线程好像是一直在计算,io比较少,从而更多的将cpu的执行权限分配给我们的线程。
协程的本质就是在单线程下,由用户自己控制一个任务遇到io阻塞了就切换另外一个任务去执行,
以此来提升效率。为了实现它,我们需要找寻一种可以同时满足以下条件的解决方案:
#1. 可以控制多个任务之间的切换,切换之前将任务的状态保存下来,以便重新运行时,可以基于暂停的位置继续执行。
#2. 作为1的补充:可以检测io操作,在遇到io操作的情况下才发生切换
3、协程介绍
协程:是单线程下的并发,又称微线程,纤程。英文名Coroutine。
一句话说明什么是线程:协程是一种用户态的轻量级线程,即协程是由用户程序自己控制调度的。
对比操作系统控制线程的切换,用户在单线程内控制协程的切换
协程在操作系统上是没有这个概念的,是程序员们自己叫的
1.需要强调的是:
1. python的线程属于内核级别的,即由操作系统控制调度
(如单线程遇到io或执行时间过长就会被迫交出cpu执行权限,切换其他线程运行)
2. 单线程内开启协程,一旦遇到io,就会从应用程序级别(而非操作系统)控制切换,
以此来提升效率(!!!非io操作的切换与效率无关)
2.优点如下:
1. 协程的切换开销更小,属于程序级别的切换,操作系统完全感知不到,因而更加轻量级
2. 单线程内就可以实现并发的效果,最大限度地利用cpu
3.缺点如下:
1. 协程的本质是单线程下,无法利用多核,
可以是一个程序开启多个进程,每个进程内开启多个线程,每个线程内开启协程
2. 协程指的是单个线程,因而一旦协程出现阻塞,将会阻塞整个线程
4.总结协程特点:
1、必须在只有一个单线程里实现并发
2、修改共享数据不需加锁
3、用户程序里自己保存多个控制流的上下文栈
4、附加:一个协程遇到IO操作自动切换到其它协程
(如何实现检测IO,yield、greenlet都无法实现,就用到了gevent模块(select机制))
4、Greenlet
如果我们在单个线程内有20个任务,要想实现在多个任务之间切换,
使用yield生成器的方式过于麻烦(需要先得到初始化一次的生成器,然后再调用send。。。非常麻烦),
而使用greenlet模块可以非常简单地实现这20个任务直接的切换
#安装
pip3 install greenlet
1.生成器版的任务切换
2.效率对比
单纯的切换(在没有io的情况下或者没有重复开辟内存空间的操作),反而会降低程序的执行速度
效率对比
3.greenlet只是提供了一种便捷的切换方式,并没有提升效率
greenlet只是提供了一种比generator更加便捷的切换方式,
当切到一个任务执行时如果遇到io,那就原地阻塞,仍然是没有解决遇到IO自动切换来提升效率的问题。
5、Gevent介绍
#安装
pip3 install gevent
Gevent 是一个第三方库,可以轻松通过gevent实现并发同步或异步编程,
在gevent中用到的主要模式是Greenlet,
它是以C扩展模块形式接入Python的轻量级协程。
Greenlet全部运行在主程序操作系统进程的内部,但它们被协作式地调度。
1、用法
2、gevent的简单使用
3、 Gevent之同步与异步
协程:同步异步对比
4、Gevent之应用举例一
协程应用:爬虫
将上面的程序最后加上一段串行的代码看看效率:
如果你的程序不需要太高的效率,那就不用什么并发啊协程啊之类的东西。
5、Gevent之应用举例二
通过gevent实现单线程下的socket并发(from gevent import monkey;monkey.patch_all()
一定要放到导入socket模块之前,否则gevent无法识别socket的阻塞)
一个网络请求里面经过多个时间延迟time
服务端
客户端
多线程并发多个客户端,去请求上面的服务端是没问题的
二、IO多路复用
同步(synchronous) IO和异步(asynchronous) IO,阻塞(blocking) IO和非阻塞(non-blocking)IO分别是什么,
到底有什么区别?这个问题其实不同的人给出的答案都可能不同,
比如wiki,就认为asynchronous IO和non-blocking IO是一个东西。
这其实是因为不同的人的知识背景不同,并且在讨论这个问题的时候上下文(context)也不相同。
所以,为了更好的回答这个问题,我先限定一下本文的上下文。
本文讨论的背景是Linux环境下的network IO。
本文最重要的参考文献是Richard Stevens的“UNIX® Network Programming Volume 1, Third Edition: The Sockets Networking ”,
6.2节“I/O Models ”,Stevens在这节中详细说明了各种IO的特点和区别,
如果英文够好的话,推荐直接阅读。
Stevens的文风是有名的深入浅出,所以不用担心看不懂。本文中的流程图也是截取自参考文献。
1、Stevens在文章中一共比较了五种IO Model:
* blocking IO 阻塞IO
* nonblocking IO 非阻塞IO
* IO multiplexing IO多路复用
* signal driven IO 信号驱动IO(不常见,不讲)
* asynchronous IO 异步IO
由signal driven IO(信号驱动IO)在实际中并不常用,所以主要介绍其余四种IO Model。
再说一下IO发生时涉及的对象和步骤。对于一个network IO (这里我们以read、recv举例),它会涉及到两个系统对象,一个是调用这个IO的process (or thread),另一个就是系统内核(kernel)。当一个read/recv读数据的操作发生时,该操作会经历两个阶段:
1)等待数据准备 (Waiting for the data to be ready)
2)将数据从内核拷贝到进程中(Copying the data from the kernel to the process)
记住这两点很重要,因为这些IO模型的区别就是在两个阶段上各有不同的情况。
1.补充:
2、阻塞IO(blocking IO)
就是我们平常写的input,的代码,这样的阻塞
在linux中,默认情况下所有的socket都是blocking,
一个典型的读操作流程大概是这样:(recvfrom和tcp里面的recv在这些IO模型里面是一样的)
上面的图形分析:两个阶段的阻塞
所以,blocking IO的特点就是在IO执行的两个阶段(等待数据和拷贝数据两个阶段)都被block了。
这里我们回顾一下同步/异步/阻塞/非阻塞:
同步:提交一个任务之后要等待这个任务执行完毕
异步:只管提交任务,不等待这个任务执行完毕就可以去做其他的事情
阻塞:recv、recvfrom、accept,线程阶段 运行状态–>阻塞状态–>就绪
非阻塞:没有阻塞状态
在一个线程的IO模型中,我们recv的地方阻塞,我们就开启多线程,
但是不管你开启多少个线程,这个recv的时间是不是没有被规避掉,
不管是多线程还是多进程都没有规避掉这个IO时间。
3、非阻塞IO
Linux下,可以通过设置socket使其变为non-blocking。
当对一个non-blocking socket执行读操作时,流程是这个样子:
在非阻塞式IO中,用户进程其实是需要不断的主动询问kernel数据准备好了没有。
虽然我们上面的代码通过设置非阻塞,规避了IO操作,但是非阻塞IO模型绝不被推荐。
非阻塞IO模型服务端
非阻塞IO模型客户端
非阻塞IO示例详细版
1.非阻塞IO模型绝不被推荐
虽然我们上面的代码通过设置非阻塞,规避了IO操作,但是非阻塞IO模型绝不被推荐。
我们不能否则其优点:能够在等待任务完成的时间里干其他活了
(包括提交其他任务,也就是 “后台” 可以有多个任务在“”同时“”执行)。
2.但是也难掩其缺点:
1. 循环调用recv()将大幅度推高CPU占用率;
这也是我们在代码中留一句time.sleep(2)的原因,否则在低配主机下极容易出现卡机情况
2. 任务完成的响应延迟增大了,因为每过一段时间才去轮询一次read操作,
而任务可能在两次轮询之间的任意时间完成。这会导致整体数据吞吐量的降低。
此外,在这个方案中recv()更多的是起到检测“操作是否完成”的作用,
实际操作系统提供了更为高效的检测“操作是否完成“作用的接口,
例如select()多路复用模式,可以一次检测多个连接是否活跃。
4、多路复用IO(IO multiplexing)(重点)
先看解释图,里面的select就像个代理。
IO multiplexing这个词可能有点陌生,但是如果我说select/epoll,大概就都能明白了。
有些地方也称这种IO方式为事件驱动IO(event driven IO)。
我们都知道,select/epoll的好处就在于单个process就可以同时处理多个网络连接的IO。
它的基本原理就是select/epoll这个function会不断的轮询所负责的所有socket,
当某个socket有数据到达了,就通知用户进程。它的流程如图:
1.强调:
1. 如果处理的连接数不是很高的话,使用select/epoll的web server不一定比使用multi-threading + blocking IO的web server性能更好,
可能延迟还更大。select/epoll的优势并不是对于单个连接能处理得更快,而是在于能处理更多的连接。
2. 在多路复用模型中,对于每一个socket,一般都设置成为non-blocking,但是,
如上图所示,整个用户的process其实是一直被block的。
只不过process是被select这个函数block,而不是被socket IO给block。
2.python中的select模块:
3、结论:
select的优势在于可以处理多个连接,不适用于单个连接
fe1:io多路复用服务端、客户端示例
io多路复用服务端
io多路复用客户端
select网络IO模型的示例代码详细解释版