服务端编程,首要问题是选取IO模型。即如何处理大量连接,服务更多的客户端?
我们最早有2种解法,各有不足:
1、阻塞IO,每个连接都需要一个线程。
随着连接数增多,线程数剧增,系统开销太大。
2、非阻塞IO,采用“忙轮询”的方式处理多个连接。
空闲连接很多时,太浪费CPU。
现在,业内常用方案是IO复用。
单线程处理大量连接,应用不需要“忙轮询”,内核发现“活跃连接”通知应用。所有连接都空闲时,阻塞应用线程,释放CPU。
目前,最成熟的IO复用方案是epoll,我们今天的主角。
一
epoll的3个API
如上图,epoll的核心是3个API,核心数据结构是:1个红黑树 和 1个链表
1. epoll_create()
功能:创建句柄epollfd。
内核准备数据结构:1个Map(就那个红黑树) 和 1个List(就那个链表)
2. epoll_ctl(epollfd, my_events)
功能:注册我关心的事件(fd, 可读/可写)。
内核把事件写入Map,方便快速查找。
当某个fd发生IO事件时,内核到Map中查找my_events,复制到List。
3. epoll_wait(epollfd, ready_events)
功能:返回就绪事件。
copy一份List返回。
二
2类fd与3件事
服务端支持多连接,标识连接的fd分为2类:
1. listenfd
一般情况,只有一个。用来监听一个特定的端口(如80)。
2. connfd
每个连接都有一个connfd。用来收发数据。
针对这2种fd,服务端主要做3件事,如下图:
1. accept listenfd,创建一个connfd
2. 读/写 connfd
应用/内核间copy数据。
每个connfd对应着2个应用缓冲区:readbuf、writebuf
3. 处理 connfd发来的数据
业务逻辑处理,准备response到 writebuf。
三
单线程下使用epoll
把上文提到的:3个API、2种fd、3件事,揉到一块,用伪码表示。
注:下面的代码,在手机上建议横屏阅读。
四
多线程下的IO模型
我们听过很多多线程IO模型:Reactor、Proactor、领导者/追随者balabala...
太多了,傻傻分不清楚。
从上文,我们知道,服务端IO编程主要处理3件事,我们给这3件事编号:1、2 和 3。
不管单线程,还是多线程,核心都是做这3件事。
各种多线程IO模型的区别就是:这3件事交给哪些线程做了。
按照这个规则,我们把常见的多线程IO模型,整理到一棵“决策树”上。
希望能帮助大家记忆。
1. redis模式
处理:单线程独自干3件事。
类比:饭馆,夫妻店。
老板自己当服务员,把所有的活都干了(接待、点菜、上菜等)。
2. nginx模式
处理:开启8个工作进程,各自独立。
新连接来了,大家一起抢,谁抢到算谁的(这是第1件事,每个进程都调用accept,但只有一个能成功,得到connfd)。
抢到之后(得到connfd),各进程独自干剩下的2件事(读写connfd、业务处理)。
类比:小饭馆。
雇了8个服务员。
新客人一进门,8个服务员一拥而上,谁抢到算谁的。
抢到之后,独自服务该客人。
惊群效应:新客人一进门,8个服务员都被唤醒,注定只有1个能抢到,浪费7个服务员的注意力。
3. 线程分角色
处理:3件事分配给不同的线程。
线程间需要通信,分配任务。
类比:大饭馆。
门口专门站一个“大服务员”(主线程),负责排号。
客人到号了,“大服务员”指派一个专门的“小服务员”,接待客人。
大厅里有一群“小服务员”(工作线程),负责接待客人到餐桌。
“小服务员”还可以再拆分工作(拆出业务线程),领路、点菜、上菜、收钱可以交给不同的“小服务员”做。
4. 领导者/追随者
处理:线程的角色在3种状态间变换,每种角色职责不同。
事件集和数据是公用的,线程间不需要通信。
任一瞬间,最多只有一个Leader线程,负责响应新事件。
Leader:获取事件后,变成Processing,处理、读写数据。
同时指定一个Follower接替自己。
Processing:完成业务处理后,如果没有Leader,自己成为Leader;
如果有Leader,自己成为Follower。
Follower:等待被指派为Leader。
类比:机场出租车。
出租车排了个长队。
队首的出租车,是Leader:响应新乘客。
后面排队的出租车,是Follower:等待成为Leader。
乘客上车后,Leader出租车转为Processing:服务乘客。
转自:http://www.360doc.com/content/17/0807/14/33093582_677312246.shtml