IO模块
一 IO模型 分为:
1 阻塞IO (accept recv)
2 非阻塞IO
3 IO多路复用(监听多个链接)
4 异步IO
5 驱动信号模型(不经常使用)
1 阻塞IO (blocking IO)
特点:全程阻塞(进程不能干其他的事儿)
当用户进程调用了recvfrom这个系统调用,kernel就开始了IO的第一个阶段:准备数据。对于network io来说,很多时候数据在一开始还没有到达,这个时候kernel就要等待足够的数据到来,而在用户进程这边,整个进程会被阻塞。
当kernel直等到数据准备好了,他就会将数据从kernel中拷贝到用户内存,然后kernel返回结果,用户进程才解除block的状态,重新运行起来。
2 非阻塞IO(non-blocking IO)
特点:发送多次系统调用
优点:wait for data时无阻塞
缺点:多次系统调用,消耗,不能第一时间拿取数据
两个阶段:wait for data非阻塞
cope data是阻塞的
注意:在网络IO时候,非阻塞IO也会进行recvfrom系统调用,检查数据是否准备好,与阻塞IO不一样,”非阻塞将大的整片时间的阻塞分成N多的小的阻塞,所以进程不断地有机会’被CPU光顾’”。即每次recvfrom系统调用之间,cpu的权限还在进程手中,这段时间可以做其他事情。
也就是说非 阻塞的recvfrom系统调用,进程并没有被阻塞,内核马上返回给进程,如果数据还没有准备好,此时会返回一个error。进程在返回之后,可以干点别的事情,然后在发起recvfrom系统调用,重复上面的过程。不断重复进行recvfrom系统调用,这个过程被称为轮询,轮询检查内核数据,直到数据被准备好,再拷贝数据到进程,进行数据处理,需要注意,拷贝数据整个过程,进程仍然是属于阻塞的状态。
#服务端 import socket sk=socket.socket() sk.bind(("127.0.0.1",8000)) sk.listen(5) sk.setblocking(False) while True: try: print("waiting.........") conn,addr=sk.accept() print("++++",conn) data=conn.recv(1024) print(data.decode("utf8")) except Exception as e: print(e) time.sleep(4) #客户端 import time import socket sk=socket.socket() sk.connect(("127.0.0.1",8000)) while True: data=input(">>") sk.send(data.encode("utf-8")) time.sleep(2) 执行结果: waiting......... [WinError 10035] 无法立即完成一个非阻止性套接字操作。 waiting......... [WinError 10035] 无法立即完成一个非阻止性套接字操作。 waiting......... [WinError 10035] 无法立即完成一个非阻止性套接字操作。 waiting.........
3 IO多路复用(IO multiplexing)
特点:1全程阻塞(wait for data, copy data)
2 能监听多个文件描述符
实现并发
select, epoll,poll
select发起系统调用(监听多个连接 实行并发)
对于文件描述符(套接字对象):
1 是一个非零整数,不会变
2 收发数据的时候,对于接收端而言,数据先到内核空间,然后通过copy到用户空间,同时,内核空间数据清空。
IO multiplexing这个词可能有点陌生,但是如果说select,epoll,大概就都能明白了,有些地方也称这用IO方式为event driven IO。我们知道,select/epoll的好处就在于单个process就可以同时处理多个网络连接的IO,它的基本原理就是selet/epoll这个function会不断的轮询所有的socket,当某个socket有数据到达了,就通知用户进程。
当用户进程调用了select,那么整个进程会被block,而同时,kernel会”监视”所有select负责的socket,当任何一个socket中的数据准备好了,select就回返回。这个时候用户进程再调用read操作,将数据从kernel拷贝到用户进程。
需要使用两个system call(select和recvfrom),而blocking IO只调用了一个system call(recvfrom)。
注意1:select函数返回结果中如果有文件可读了,那么进程就可以通过调用accept()或recv()
来让kernel将位于内核中准备到数据copy到用户区。
注意2:select的优势在于可以处理多个连接,不适用于单个连接
#服务端 import socket import select sock=socket.socket() sock.bind(("127.0.0.1",8000)) sock.listen(5) # sock.setblocking(False) inputs=[sock,] while True: r,w,e=select.select(inputs,[],[]) #监听有变化的套接字, for obj in r: if obj==sock: conn,addr=obj.accept() inputs.append(conn) #l=[sock,conn] else: data=obj.recv(1024) print(data.decode("utf8")) send_data=input(">>>") obj.send(send_data.encode("utf8")) #客户端 import socket sock=socket.socket() sock.connect(("127.0.0.1",8000)) while True: data=input(">>>") sock.send(data.encode("utf8")) res=sock.recv(1024) print(res.decode("utf8")) sock.close()
4 异步IO(Asynchronous I/O)
特点:全程无阻塞
用户进程发起read操作之后,立刻就可以开始去做其他的事儿,从另一方面,从kernel的角度,当它收到一个asynchronous read 之后,首先它会立刻返回,所以不会对用户进程产生任何block,然后,kernel会 数据准备完成 ,然后将数据拷贝到用户内存,当着一切都完成之后,kernel就给用户进程发送一个signal,告诉它read操作完成了。
同步阻塞:包括(阻塞IO,非阻塞IO,IO多路复用)
异步阻塞:无阻塞 包括(异步IO)
各个IO Model的比较如果所示: