IO 模型
网络传输数据的两个阶段
send 从应用程序copy到操作系统
recv 等待数据到达缓冲区 wait_data 然后在从操作系统缓冲区copy应用程序
wait_data 耗时最长
我们的目的就等待数据的这一段时间 合理的利用CPU来提高效率
1.阻塞IO
默认情况下就是阻塞IO模型
当执行recv时 如果对方没有数据到达 那么程序阻塞在原地
线程池 有最大限制 不能无限的开线程
来了1000 所以开了1000线程 导致1001 客户端不能正常访问
而且很有可能很多线程处于阻塞状态,浪费了资源
可以使用协程
协程是单线程并发处理,
检测IO操作 当发生IO操作时 切换到其他任务来执行
协程的原理是把原本阻塞的操作 换成非阻塞的操作
2.非阻塞IO === 非阻塞的网络IO 了解
非阻塞 即 即使遇到了IO操作 也不会阻塞在原地 会继续往下执行
server 是一个服务器socket对象
server.setblocking(Fasle) 设置为非阻塞
问题是: 每次读取数据时 不一定有数据 为了能够及时处理数据 只能不停的询问 忙轮询
这种忙轮询的方式,即使没有数据需要处理 也需要不停的循环,造成了无用CPU占用
3.多路复用
假设原本有30个socket 需要我们自己来处理, 如果是非阻塞IO模型,相当于从头开始问道尾,如果没有需要处理的
回过头来再次重复,
多路复用解决问题的思路,找一个代理即select,将你的socket交给select来检测
select 会返回 那些已经准备好的 可读或者可写的socket
我们拿着这些准备好的socket 直接处理即可
对比线程池
避免了开启线程的资源消耗
缺点:
同时检测socket不能超过1024
注：epol就可以解决1024这个限制（仅在Linux）
4.异步IO
阻塞IO recv accept 会将当前线程阻塞住 同步
非阻塞IO recv accept 不会阻塞当前线程 ,没有数据直接抛出异常
分析 属于同步还是异步?
recv (wait_data,copy_data) 设置为非阻塞之后 wait_data不会再阻塞
但是copy_data 也是IO操作 还是会阻塞
也属于同步
多路复用 也属于同步IO
同步 异步 任务的执行方式
同步IO 执行IO任务的方式
异步IO
异步IO
线程池中的submit 就是异步任务
异步的特点就是 立马就会返回
同步翻译为sync 异步async
select 只能同时处理1024个客户端,
多线程会遇到资源瓶颈,什么才是解决高并发最有效的方式呢
linux中提供了epoll 这种多路复用的IO模型,注意其他平台没有相应的实现
2.程序阻塞过程分析
1.系统会创建文件描述符指向一个socket对象 ,其包含了读写缓冲区,已经进行等待队列
2.当执行到accept / recv 时系统会讲进程A 从工作队列中移除
3.将进程A的引用添加到 socket对象的等待队列中
2.发送中断信号给CPU
3.CPU执行中断程序,将数据从内核copy到socket的缓冲区
4.唤醒进程,即将进程A切换到就绪态,同时从socket的等待队列中移除这个进程引用
select的实现思路比较直接
1.先将所有socket放到一个列表中,
2.遍历这个列表将进程A 添加到每个socket的等待队列中 然后阻塞进程
3.当数据到达时,cpu执行中断程序将数据copy给socket 同时唤醒处于等待队列中的进程A
为了防止重复添加等待队列 还需要移除已经存在的进程A
4.进程A唤醒后 由于不清楚那个socket有数据,所以需要遍历一遍所有socket列表
从上面的过程中不难看出
1.select,需要遍历socket列表,频繁的对等待队列进行添加移除操作,
2.数据到达后还需要给遍历所有socket才能获知哪些socket有数据
两个操作消耗的时间随着要监控的socket的数量增加而大大增加,
处于效率考虑才规定了最大只能监视1024个socket
5.
1.避免频繁的对等待队列进行操作
2.避免遍历所有socket
对于第一个问题我们先看select的处理方式
while True:
r_list,w_list,x_list = select.select(rlist,wlist,xlist)
每次处理完一次读写后,都需要将所用过冲重复一遍,包括移除进程,添加进程,默认就会将进程添加到等待队列,并阻塞住进程,然而等待队列的更新操作并不频繁,
所以对于第一个问题epoll,采取的方案是,将对等待队列的维护和,阻塞进程这两个操作进行拆分,
相关代码如下
import socket,select
server = socket.socket()
server.bind(("127.0.0.1",1688))
server.listen(5)
#创建epoll事件对象，后续要监控的事件添加到其中
epoll = select.epoll()
#注册服务器监听fd到等待读事件集合
epoll.register(server.fileno(), select.EPOLLIN) # 需要关注 server这个socket的可读事件
# 等待事件发生
while True:
for sock,event in epoll.poll():
pass
在epoll中register 与 unregister函数用于维护等待队列
register 是进程添加到等待队列中 unregister 把进程从等待队列中删除
使用这两个函数我们自己来控制等待队列的添加和删除 从而避免频繁操作等待队列
这样一来就避免了 每次处理都需要重新操作等待队列的问题
epol为了解决这个问题,在内核中维护了一个就绪列表,
1.创建epoll对象,epoll也会对应一个文件,由文件系统管理
2.执行register时,将epoll对象 添加到socket的等待队列中
3.数据到达后,CPU执行中断程序,将数据copy给socket
4.在epoll中,中断程序接下来会执行epoll对象中的回调函数,传入就绪的socket对象
5.将socket,添加到就绪列表中
6.唤醒epoll等待队列中的进程,
进程唤醒后,由于存在就绪列表,所以不需要再遍历socket了,直接处理就绪列表即可
成果：解决了这两个问题后,并发量得到大幅度提升,最大可同时维护上万级别的socket
#客户端
#创建客户端socket对象
import socket
clientsocket = socket.socket(socket.AF_INET,socket.SOCK_STREAM)
#服务端IP地址和端口号元组
server_address = ('127.0.0.1',1688)
#客户端连接指定的IP地址和端口号
clientsocket.connect(server_address)
#输入数据
data = raw_input('please input:')
if data == "q":
break
if not data:
continue
#客户端发送数据
clientsocket.send(data.encode("utf-8"))
#客户端接收数据
server_data = clientsocket.recv(1024)
print ('客户端收到的数据：',server_data)
#关闭客户端socket
clientsocket.close()
import socket, select
server.bind(("127.0.0.1", 1688))
server.listen(5)
fd_socket = {server.fileno(): server}
epoll = select.epoll()
# 注册服务器的 写就绪
epoll.register(server.fileno(), select.EPOLLIN)
for fd, event in epoll.poll():
sock = fd_socket[fd]
print(fd, event)
# 返回的是文件描述符 需要获取对应socket
if sock == server: # 如果是服务器 就接受请求
client, addr = server.accept()
# 注册客户端写就绪
epoll.register(client.fileno(), select.EPOLLIN)
# 添加对应关系
fd_socket[client.fileno()] = client
elif event == select.EPOLLIN:
data = sock.recv(2018)
if not data:
# 注销事件
epoll.unregister(fd)
# 关闭socket
sock.close()
# 删除socket对应关系
del fd_socket[fd]
print(" somebody fuck out...")
continue
# 读完数据 需要把数据发回去所以接下来更改为写就绪=事件
epoll.modify(fd, select.EPOLLOUT)
#记录数据
msgs.append((sock,data.upper()))
elif event == select.EPOLLOUT:
for item in msgs[:]:
if item[0] == sock:
sock.send(item[1])
msgs.remove(item)
# 切换关注事件为写就绪
epoll.modify(fd,select.EPOLLIN)
mysql -hip -P端口 -u用户名 -p密码
实例: mysql -uroot -p
mysql 5.6 默认是没有密码的
```
mysqladmin -p旧密码 -u用户名 password 新密码
实例: mysqladmin -uroot -p password 123
```