IO多路复用是指,通过一种机制,可以监听多个描述符,一旦某个描述符就绪(一般是读就绪或者写就绪),能够通知程序进行相应的读写操作。
Linux中的select、poll、epoll都是IO多路复用的机制。
select select最早于1983年出现在4.2BSD中,它通过一个select()系统调用来监视多个文件描述符的数组,当select()返回后,该数组中就绪的文件描述符便会被内核修改标志位,使得进程可以获得这些文件描述符从而进行后续的读写操作。 select目前几乎在所有的平台上支持,其良好跨平台支持也是它的一个优点,事实上从现在看来,这也是它所剩不多的优点之一。 select的一个缺点在于单个进程能够监视的文件描述符的数量存在最大限制,在Linux上一般为1024,不过可以通过修改宏定义甚至重新编译内核的方式提升这一限制。 另外,select()所维护的存储大量文件描述符的数据结构,随着文件描述符数量的增大,其复制的开销也线性增长。同时,由于网络响应时间的延迟使得大量TCP连接处于非活跃状态,但调用select()会对所有socket进行一次线性扫描,所以这也浪费了一定的开销。 poll poll在1986年诞生于System V Release 3,它和select在本质上没有多大差别,但是poll没有最大文件描述符数量的限制。 poll和select同样存在一个缺点就是,包含大量文件描述符的数组被整体复制于用户态和内核的地址空间之间,而不论这些文件描述符是否就绪,它的开销随着文件描述符数量的增加而线性增大。 另外,select()和poll()将就绪的文件描述符告诉进程后,如果进程没有对其进行IO操作,那么下次调用select()和poll()的时候将再次报告这些文件描述符,所以它们一般不会丢失就绪的消息,这种方式称为水平触发(Level Triggered)。 epoll 直到Linux2.6才出现了由内核直接支持的实现方法,那就是epoll,它几乎具备了之前所说的一切优点,被公认为Linux2.6下性能最好的多路I/O就绪通知方法。 epoll可以同时支持水平触发和边缘触发(Edge Triggered,只告诉进程哪些文件描述符刚刚变为就绪状态,它只说一遍,如果我们没有采取行动,那么它将不会再次告知,这种方式称为边缘触发),理论上边缘触发的性能要更高一些,但是代码实现相当复杂。 epoll同样只告知那些就绪的文件描述符,而且当我们调用epoll_wait()获得就绪文件描述符时,返回的不是实际的描述符,而是一个代表就绪描述符数量的值,你只需要去epoll指定的一个数组中依次取得相应数量的文件描述符即可,这里也使用了内存映射(mmap)技术,这样便彻底省掉了这些文件描述符在系统调用时复制的开销。 另一个本质的改进在于epoll采用基于事件的就绪通知方式。在select/poll中,进程只有在调用一定的方法后,内核才对所有监视的文件描述符进行扫描,而epoll事先通过epoll_ctl()来注册一个文件描述符,一旦基于某个文件描述符就绪时,内核会采用类似callback的回调机制,迅速激活这个文件描述符,当进程调用epoll_wait()时便得到通知。
Python中有一个select模块,其中提供了:select、poll、epoll三个方法,分别调用系统的select、poll、epoll从而实现IO多路复用。
Windows Python:
提供: select
Mac Python:
提供: select
Linux Python:
提供: select、poll、epoll
PS:网络操作、文件操作、终端操作等均属于IO操作,对于windows只支持socket操作,其他系统支持其他IO操作,
但是无法检测普通文件 操作、自动上次读取是否已经变化。
对于select方法:
句柄列表
11
, 句柄列表
22
, 句柄列表
33
=
select.select(句柄序列
1
, 句柄序列
2
, 句柄序列
3
, 超时时间)
参数: 可接受四个参数(前三个必须)
返回值:三个列表
select方法用来监视文件句柄,如果句柄发生变化,则获取该句柄。
1
、当 参数
1
序列中的句柄发生可读时(accetp和read),则获取发生变化的句柄并添加到 返回值
1
序列中
2
、当 参数
2
序列中含有句柄时,则将该序列中所有的句柄添加到 返回值
2
序列中
3
、当 参数
3
序列中的句柄发生错误时,则将该发生错误的句柄添加到 返回值
3
序列中
4
、当 超时时间 未设置,则select会一直阻塞,直到监听的句柄发生变化
当 超时时间 =
1
时,那么如果监听的句柄均无任何变化,则select会阻塞
1
秒,之后返回三个空列表,如果监听的句柄有变化,则直接执行。
#!/usr/bin/env python import socket, select ss = socket.socket() ip_port = ('0.0.0.0', 6969) ss.bind(ip_port) ss.listen(5) inputs = [ss, ] outputs = [] msg = {} while True: rlist, w, e = select.select(inputs, outputs, [], 1) print(len(inputs), len(rlist), len(outputs), len(w)) print(outputs, w) for r in rlist: if r == ss: conn, addr = r.accept() inputs.append(conn) msg[conn] = [] conn.sendall('hello'.encode('utf-8')) else: try: ret = r.recv(1024) if not ret: raise ConnectionResetError('duankaile') else: msg[r].append(ret) outputs.append(r) except ConnectionResetError as e: print('----------') inputs.remove(r) del msg[r] for i in w: send = msg[i].pop() i.sendall(send.upper()) outputs.remove(i)
import socket cs = socket.socket() cs.connect(('192.168.254.129', 6969)) rec = cs.recv(1024) print(rec.decode()) while True: sen = input('>>:').strip() cs.send(sen.encode('utf-8')) rec = cs.recv(1024) print(rec.decode())