epoll
select 只能同时处理1024个客户端,
多线程会遇到资源瓶颈,什么才是解决高并发最有效的方式呢
linux中提供了epoll 这种多路复用的IO模型,注意其他平台没有相应的实现
所以epoll仅在linux中可用
程序阻塞过程分析
假设系统目前运行了三个进程 A B C
进程A正在运行一下socket程序
```python
server = socket.socket()
server.bind(("127.0.0.1",1688))
server.listen()
server.accept()
```
1.系统会创建文件描述符指向一个socket对象 ,其包含了读写缓冲区,已经进行等待队列
2.当执行到accept / recv 时系统会将进程A 从工作队列中移除
3.将进程A的引用添加到 socket对象的等待队列中
进程的唤醒
1.当网卡收到数据后会现将数据写入到缓冲区
2.发送中断信号给CPU
3.CPU执行中断程序,将数据从内核copy到socket的缓冲区
4.唤醒进程,即将进程A切换到就绪态,同时从socket的等待队列中移除这个进程引用
select监控多个socket
1.先将所有socket放到一个列表中,
2.遍历这个列表将进程A 添加到每个socket的等待队列中 然后阻塞进程
3.当数据到达时,cpu执行中断程序将数据copy给socket 同时唤醒处于等待队列中的进程A
为了防止重复添加等待队列 还需要移除已经存在的进程A
4.进程A唤醒后 由于不清楚那个socket有数据,所以需要遍历一遍所有socket列表
结论
1.select,需要遍历socket列表,频繁的对等待队列进行添加移除操作,
2.数据到达后还需要给遍历所有socket才能获知哪些socket有数据
两个操作消耗的时间随着要监控的socket的数量增加而大大增加,
处于效率考虑才规定了最大只能监视1024个socket
epoll要解决的问题
1.避免频繁的对等待队列进行操作
2.避免遍历所有socket
对于第一个问题我们先看select的处理方式
while True:
r_list,w_list,x_list = select.select(rlist,wlist,xlist)
每次处理完一次读写后,都需要将所用过冲重复一遍,包括移除进程,添加进程,默认就会将进程添加到等待队列,并阻塞住进程,然而等待队列的更新操作并不频繁,
所以对于第一个问题epoll,采取的方案是,将对等待队列的维护和,阻塞进程这两个操作进行拆分,
相关代码如下
import socket,select
server = socket.socket()
server.bind(("127.0.0.1",1688))
server.listen(5)
#创建epoll事件对象，后续要监控的事件添加到其中
epoll = select.epoll()
#注册服务器监听fd到等待读事件集合
epoll.register(server.fileno(), select.EPOLLIN) # 需要关注 server这个socket的可读事件
# 等待事件发生
while True:
for sock,event in epoll.poll():
pass
在epoll中register 与 unregister函数用于维护等待队列
register 是进程添加到等待队列中 unregister 把进程从等待队列中删除
使用这两个函数我们自己来控制等待队列的添加和删除 从而避免频繁操作等待队列
epoll.poll则用于阻塞进程
第二个问题是select中进程无法获知哪些socket是有数据的所以需要遍历
epol为了解决这个问题,在内核中维护了一个就绪列表,
1.创建epoll对象,epoll也会对应一个文件,由文件系统管理
2.执行register时,将epoll对象 添加到socket的等待队列中
3.数据到达后,CPU执行中断程序,将数据copy给socket
4.在epoll中,中断程序接下来会执行epoll对象中的回调函数,传入就绪的socket对象
5.将socket,添加到就绪列表中
6.唤醒epoll等待队列中的进程,
进程唤醒后,由于存在就绪列表,所以不需要再遍历socket了,直接处理就绪列表即可
解决了这两个问题后,并发量得到大幅度提升,最大可同时维护上万级别的socket
import select 导入select模块
epoll = select.epoll() 创建一个epoll对象
epoll.register(文件句柄,事件类型) 注册要监控的文件句柄和事件
事件类型:
select.EPOLLIN 可读事件
select.EPOLLOUT 可写事件
select.EPOLLERR 错误事件
select.EPOLLHUP 客户端断开事件
epoll.unregister(文件句柄) 销毁文件句柄
epoll.poll(timeout) 当文件句柄发生变化，则会以列表的形式主动报告给用户进程,timeout
为超时时间，默认为-1，即一直等待直到文件句柄发生变化，如果指定为1
那么epoll每1秒汇报一次当前文件句柄的变化情况，如果无变化则返回空
epoll.fileno() 返回epoll的控制文件描述符(Return the epoll control file descriptor)
epoll.modfiy(fineno,event) fineno为文件描述符 event为事件类型 作用是修改文件描述符所对应的事件
epoll.fromfd(fileno) 从1个指定的文件描述符创建1个epoll对象
epoll.close() 关闭epoll对象的控制文件描述符
案例:
#coding:utf-8
#客户端
#创建客户端socket对象
import socket
clientsocket = socket.socket(socket.AF_INET,socket.SOCK_STREAM)
#服务端IP地址和端口号元组
server_address = ('127.0.0.1',1688)
#客户端连接指定的IP地址和端口号
clientsocket.connect(server_address)
while True:
#输入数据
data = raw_input('please input:')
if data == "q":
break
if not data:
continue
#客户端发送数据
clientsocket.send(data.encode("utf-8"))
#客户端接收数据
server_data = clientsocket.recv(1024)
print ('客户端收到的数据：',server_data)
#关闭客户端socket
clientsocket.close()
服务器:
# coding:utf-8
import socket, select
server = socket.socket()
server.bind(("127.0.0.1", 1688))
server.listen(5)
msgs = []
fd_socket = {server.fileno(): server}
epoll = select.epoll()
# 注册服务器的 写就绪
epoll.register(server.fileno(), select.EPOLLIN)
while True:
for fd, event in epoll.poll():
sock = fd_socket[fd]
print(fd, event)
# 返回的是文件描述符 需要获取对应socket
if sock == server: # 如果是服务器 就接受请求
client, addr = server.accept()
# 注册客户端写就绪
epoll.register(client.fileno(), select.EPOLLIN)
# 添加对应关系
fd_socket[client.fileno()] = client
# 读就绪
elif event == select.EPOLLIN:
data = sock.recv(2018)
if not data:
# 注销事件
epoll.unregister(fd)
# 关闭socket
sock.close()
# 删除socket对应关系
del fd_socket[fd]
print(" somebody fuck out...")
continue
print(data.decode("utf-8"))
# 读完数据 需要把数据发回去所以接下来更改为写就绪=事件
epoll.modify(fd, select.EPOLLOUT)
#记录数据
msgs.append((sock,data.upper()))
elif event == select.EPOLLOUT:
for item in msgs[:]:
if item[0] == sock:
sock.send(item[1])
msgs.remove(item)
# 切换关注事件为写就绪
epoll.modify(fd,select.EPOLLIN)
数据库 ！！！！！
数据库本质就是一套CS结构的TCP程序，
客户端连接到服务器 向服务器发送指令，来完成数据的操作
数据库即存放数据的仓库，只不过这个仓库是在计算机存储设备上，而且数据是按一定的格式存放的
数据库 与 文件系统的对应关系
一个数据项 name = jerry 本质是文件中某一行的 一部分数据
一条记录 jerry，18，man 本质是文件里的一行数据
一张表 本质是一个文件
数据库 文件夹
DBMS DataBaseManagerSystem 数据库管理系统 数据库的服务器端程序
数据库服务器 运行有DBMS的计算机
安装方式:
1.下载解压包
2.解压到某个目录下
3.添加环境变量
将bin所在的完整路径 copy 添加系统的path中
4.作为服务器 应该自启动mysql服务器 需要制系统服务
mysqld --install 运行输入services 查看是是否成功
删除服务 sc delete mysql 如果需要重装的话...
启动服务 net start mysql
停止服务 net stop mysql
连接服务器的指令 ！！！！！
本质是TCP程序,必须指定ip和端口 ,如果服务器就运行在本机上 可以省略ip 如果端口没改过 也可以省略端口
完整的写法 :
mysql -hip -P端口 -u用户名 -p密码
实例: mysql -uroot -p
mysql 5.6 默认是没有密码的
登录，设置密码
初始状态下，管理员root，密码为空，默认只允许从本机登录localhost
设置密码
# mysqladmin -uroot password "123" 设置初始密码 由于原密码为空，因此-p可以不用
# mysqladmin -uroot -p"123" password "456" 修改mysql密码,因为已经有密码了，所以必须输入原密码才能设置新密码
命令格式:
# mysql -h172.31.0.2 -uroot -p456
# mysql -uroot -p
# mysql 以root用户登录本机，密码为空
修改管理员密码
1.如果知道原始密码 可以使用mysqladmin 这个工具
mysqladmin -p旧密码 -u用户名 password 新密码
实例: mysqladmin -uroot -p password 123
2.不知道原始密码的情况
删除密码文件,会删除所有授权信息
跳过授权表 我们可以在启动服务器时 指定让其忽略授权信息
1.先关闭mysql服务器 直接在终端执行 mysqld --skip-grant-tables
2.无密码登录root账户
3.执行更新语句
update mysql.user set password = password("123") where user="root" and host = "localhost";
授权给新用户
grant 执行时 如果用户不存在就会自动创建
1.使用root 用户登录到服务器
2.执行以下指令 :
grant all privileges on *.* to jerry@"%" identified by "000000";
3. flush privileges; 刷新权限信息
% 表示在任意机器这个用户都可以登录
mysql -ujerry -p000000 -h192.168.13.103