Linux的常用IO模型

内核kernel

操作系统负责整个系统运行的调度管理，包括管理各个硬件(如：cpu, 内存，磁盘，网卡等)以及在系统的上运行的各个应用程序。当计算机从关机状态启动，启动的第一个程序是操作系统内核，内核启动，将会注册GDT表（储存内存的分段信息），表中会记录操作系统单独拥有的一段内存空间（即内核空间），这部分空间只有操作系统内核可以操作，无法被其他的用户程序更改数据，从而来保证操作系统的稳定运行。而用户启动的程序使用的空间都是除该段内存空间之外的内存空间（即用户空间）由此内存被划分成用户空间和内核空间。

主机上连接的所有的硬件设备，都将被操作系统管理。在linux系统中，这些硬件设备被抽象为文件，所以操作系统在处理一个硬件设备时，其硬件设备对应为一个文件描述符，通过对设备的文件描述符进行读写操作，来表示该对设备中数据的读写操作。为了用户的应用程序可以对硬件进行调用，kernel提供了系统调用接口，用户应用可以通过调用这些接口来实现调用硬件操作。

获取程序系统调用

使用strace工具可以在启动某个程序时候，将该进程执行过程中的系统调用记录并记录这里将调用日志写入到文件中。

strace -ff -o ./record  python 文件名.py 

该命令将使用python解释器执行该py程序，并将该进程执行过程中的使用到的系统调用指令，按照每个进程id进行分类，并保存到当前目录中以record为前缀的文件中。该进程启动后可能会有其他的辅助进程，所以文件可能不止一个。

该python程序内容如下：

import socket
import threading

def worker(sock):
    # 阻塞接受客户端的数据。
    data = sock.recv(1024)
    print(data)
     
sock = socket.socket()

ip_addr = ("127.0.0.1", 8000)

sock.bind(ip_addr)
sock.listen()

print("开始监听127.0.0.1：8000")
# 每接受一个请求，开启新的线程与客户端进行通信，主线程阻塞等待新的连接
while True: 
    s, addr =  sock.accept()
    t = threading.Thread(target=worker, args=(s, ))
    t.start()

print("end-------")

通过strace产生的文件。找到该主进程执行文件，然后可以看到上面的python程序执行过程中执行的几个核心的系统调用，包括socket， bind， listen, write等。

 

可以简单的理解为在socket对象实例化的过程中，操作系统会创建一个socket ，然后将该socket关联上一个文件描述符，在之后执行sock.bind()或者sock.listen()语句时，实际上是将该文件描述符绑定到本地8000端口并监听该文件描述符，通过sock.accept()将会阻塞等待该文件描述符可以接收或者写入数据，使用伪代码表示为。

socket fd4          # 创建一个socket时，关联一个文件描述符fd4
bind  8000          # socket绑定端口 
listen fd4          # 监听该socket，即fd4文件描述符

while True:
    accept fd4 = fd5    # accept会阻塞等待，当新的连接到来，创建一个新的socket关联fd5文件描述符，该socket于客户端建立了连接
    new Thread ->  send fd5, recv fd5    # 开启一个新的线程来与客户端send或recv数据，主线程继续accept 监听fd4等待新的连接。

BIO模型

以上的通过多线程处理阻塞的IO的模型就是BIO模型（Blocking IO 即阻塞IO）由于recv和accpet都是阻塞的，所以要想服务器能同时处理多个客户端的连接，就只能开辟新的线程来实现每个客户端的数据通信。

这种模型的问题有：
1. 线程太多：每个socket都需要开启一个线程，大量客户端同时连接将耗费服务端大量的资源，这些线程在内存中有独立的栈空间，堆空间是共享的。同时增加cpu的调度。
2. 系统调用太多：开启和关闭线程也是系统调用。在原send 和 recv系统调用的基础上，增加了开闭线程的系统调用开销。

因为操作系统独立使用一份内存空间，所以每次发生系统调用时，实际上会程序会由用户态转变为内核态执行，如果需要用户空间中的数据，在内核态中需要使用用户态的数据，需要从用户空间拷贝数据到内核空间才能使用，因此执行一次系统调用的开销会比程序正常执行运算更耗费资源。

BIO模型的优点是延时低，因为每个线程的单独处理这个socket，当有数据到来时候，该线程被调起即可获取内部的数据。这还需要和下面NIO的方式进行对比更容易理解。

NIO模型

BIO模型由于每个socket都使用一个单独的线程进行执行，耗费了大量的资源，想要避免开启过多的线程，而是使用单线程去实时的监视多个socket是否有数据到来，只有将这些socket全部以非阻塞的方式运行，然后轮询执行accpet和recv他们。于是就诞生了NIO的模型（NonBlocking IO） 

伪代码：

socket fd4 
bind 127.0.0.1:8000
listen fd4

list = []         # 创建一个容器。
while True:
    accept fd4 = new fd       # accept 是非阻塞，如果有新的连接，得到新的fd，否则直接跳过即可，系统调用通过一个参数即可指定为非阻塞。
    append fd to list         # 如果得到了新的fd，将他添加到列表中，遍历列表，对每个socket执行send 和 recv操作即可
    for fd in list：
        send  fd           # 非阻塞的执行send和recv （有数据操作，没有数据则跳过）
        recv  fd   

在NIO(非阻塞IO) 的模型下，可以使用单线程去管理所有的sokcet，相比于BIO节约了线程的开销，但是同样存在问题。
1. 使用遍历的方式对每一个socket 执行send 和 recv，这两个方法都会执行系统调用，并且在大多数的情况下，大部分的socket是没有数据的，也就是，我们对所有的socket轮询一次，可能只有1%的socket需要接收数据，其余的系统调用属于浪费。
2. 有延迟，相对于BIO中某个socket收到数据，对应的线程将会被激活，然后调度执行，获取数据。而在NIO的模式下，只有遍历到该socket，才能从中获取数据，如果列表很大，例如10000个socket。遍历到第 10000 个socket时第9999个socket来数据了，只能等待下一轮将前面所有的9998个都执行一遍send或者recv操作之后，才能处理这个数据，因此时效性较差。

IO多路复用

selector

在NIO的模型中，通过遍历列表，对每一个socket调用send或者recv系统调用，这样产生了大量的系统调用，由于内核态和用户态的原因，会更加的浪费资源。于是内核提供了一个系统调用函数，select, 该函数要求提供需要被监视的socket集合，然后由内核对这个socket进行一次遍历，再将有数据的socket集合返回给用户应用端。通过select，只进行了一次系统调用，完成了对所有socket的管理，相比NIO有性能的提高。但在系统内部，仍然使用的是遍历的方式来处理这些socket，然后将有数据的socket放回交给应用端处理。

socket fd4 
bind 127.0.0.1:8000
listen fd4

list = [ fd4 ]         # 创建集合
while True:
    select list  =>  use_list       # 将socket集合交给select，返回一个有数据的socket集合
    for fd in  use_list：      # 遍历这些可用的sokcet，执行send 或 recv获取数据即可
        send  fd       
        recv  fd  

基于上面的执行方式，所以select被称为多路复用器，即执行一个系统调用，可以同时监听了多个socket IO，然后将可用的socket IO返回。
这样的方式同样存在问题：
1. 内核态中执行时，每次为了获取可用的IO，需要对整个集合进行一次遍历，这是O(N)复杂度的操作。
2. 每次调用select 都需要传入全部的socket。

IO多路复用是操作系统提供的一种机制，使其可以通过一个IO阻塞的方式去同时监视多个阻塞IO，这与通常的一个阻塞IO将会阻塞一个线程的方式是不同的，

epoll

epoll是在select基础上，针对上述的selector的两个问题来进行了优化。

为了解决的每次传入所有的sokcet对象，epoll在内核中创建一个缓冲区空间，存放所有被监听的socket对象，并绑定了一个文件描述符epfd。

epoll提供了4个相关的系统调用：关于epoll的详细请看https://blog.csdn.net/petershina/article/details/50614877，这里只做简单的机制说明

epool_create  == >  int epoll_create(int size) 开辟一个空间，返回与该空间关联的文件描述符epfd,    
 
epoll_ctl     == >   int epoll_ctl(int epfd, int op, int fd, struct epoll_event *event);   管理epfd中的数据
       第一个参数是epoll_create()的返回值，也就是内核中用来储存sokcet空间的文件描述符。
       第二个参数表示动作，用三个宏来表示：
        EPOLL_CTL_ADD：注册新的fd到epfd中；
        EPOLL_CTL_MOD：修改已经注册的fd的监听事件；
        EPOLL_CTL_DEL：从epfd中删除一个fd
      第三个参数是需要监听的fd。
      第四个参数是告诉内核需要监听什么事件， 可以是以下几个宏的集合。
          EPOLLIN ：表示对应的文件描述符可以读（包括对端SOCKET正常关闭）；
          EPOLLOUT：表示对应的文件描述符可以写；
          EPOLLPRI：表示对应的文件描述符有紧急的数据可读（这里应该表示有带外数据到来）；
          EPOLLERR：表示对应的文件描述符发生错误；
          EPOLLHUP：表示对应的文件描述符被挂断；
    
epoll_wait    == > int epoll_wait(int epfd, struct epoll_event * events, int maxevents, int timeout); 
    epoll通过wait该epfd，得知该epfd是否被唤醒，而唤醒的条件是，该epfd内部的任意一个socket被激活。
epoll_close   == > 关闭epfd文件描述符的方法 

使用epoll过程的伪代码

epoll_create() => epfd

socket  fd4
bind 127.0.0.1:8000
listen fd4

epoll_ctl(epfd, fd4, epoll_add)      # 将fd4添加到epfd对应的内核空间中

whiel True:
    epoll_wati() => fd_list
    for fd in fd_list:
        recv  fd
        send  fd
        epoll_ctl(epfd, fd4, epoll_add)  # 如果是新的fd，添加到epfd中

这个过程可以简单的理解为：首先使用epool_create在内核空间中开启一个epfd文件描述符对应的空间，然后将需要监听socketd对象通过EPOLL_CTL的ADD操作将fd添加到epfd空间中，当空间中有sokcet被激活时，通过wait可返回被激活的socket对象的集合，然后分别调用这些socket的recv或者send方法操作即可，如果要对空间中的socket操作，在应用端调用EPOLL_CTL的MOD 和 DEL 操作进行修改删除即可。否则这些socket始终处于内核态中由内核管理。

select中使用遍历的方式来获取那些socket被激活，而epoll基于事件驱动模型，事件驱动简单描述为网卡（本列监听socket进行外部通信，所以相关硬件为网卡，也可以是其他的硬件设备）接受到一个消息，并将消息复制到对应的socket，并产生一个消息事件，该事件会通知操作系统，并产生一个中断，此时操作系统会中断正在执行的其他操作，找到这个网卡对应的中断号以及初始绑定的回调函数，执行该回调操作，该回调在epoll中就是将socket从未激活区域调用到激活的队列中去，这样实现了哪个socket有消息，将会被中断的回调调用到激活区域中。应用程序将可以读取这个数据。

通过这种方式将可以不用的持续遍历内核空间中的socket，而是有消息的socket自动触发，通过回调事件，进入激活区域。而在应用端，可以通过阻塞或者非阻塞的方式从这个队列中获取激活的socket。

当然wait方法同样指定为阻塞或者非阻塞模型，同样详细说明：https://blog.csdn.net/petershina/article/details/50614877

信号驱动I/O模型（signal driven I/O， SIGIO）

　　首先我们允许套接口进行信号驱动I/O,并安装一个信号处理函数，进程继续运行并不阻塞。当数据准备好时，进程会收到一个SIGIO信号，可以在信号处理函数中调用I/O操作函数处理数据。当数据报准备好读取时，内核就为该进程产生一个SIGIO信号。我们随后既可以在信号处理函数中调用recvfrom读取数据报，并通知主循环数据已准备好待处理，也可以立即通知主循环，让它来读取数据报。无论如何处理SIGIO信号，这种模型的优势在于等待数据报到达(第一阶段)期间，进程可以继续执行，不被阻塞。免去了select的阻塞与轮询，当有活跃套接字时，由注册的handler处理。

 

5、异步I/O模型(AIO, asynchronous I/O)

　　进程发起read操作之后，立刻就可以开始去做其它的事。而另一方面，从kernel的角度，当它受到一个asynchronous read之后，首先它会立刻返回，所以不会对用户进程产生任何block。然后，kernel会等待数据准备完成，然后将数据拷贝到用户内存，当这一切都完成之后，kernel会给用户进程发送一个signal，告诉它read操作完成了。

　　这个模型工作机制是：告诉内核启动某个操作，并让内核在整个操作(包括第二阶段，即将数据从内核拷贝到进程缓冲区中)完成后通知我们。

这种模型和前一种模型区别在于：信号驱动I/O是由内核通知我们何时可以启动一个I/O操作，而异步I/O模型是由内核通知我们I/O操作何时完成。