epoll,数据库相关概念
之前讲了,多路复用中select ,它有一个缺点,就是在数据量过大,select处理不过来(超出了1024个客户端)
select 只能同时处理1024个客户端,
多线程会遇到资源瓶颈,什么才是解决高并发最有效的方式呢
linux中提供了epoll 这种多路复用的IO模型,注意其他平台没有相应的实现
所以epoll仅在linux中可用
select的处理多个客户端连接服务端的方式方式:
1,每次处理完一次读写后,都需要将所用过冲重复一遍,包括移除进程,添加进程,默认就会将进程添加到等待队列,并阻塞住进程,然而等待队列的更新操作并不频繁.
2,
epol l要解决的问题
1.避免频繁的对等待队列进行操作
所以对于第一个问题epoll,采取的方案是,将对等待队列的维护和,阻塞进程这两个操作进行拆分
register 是进程添加到等待队列中 unregister 把进程从等待队列中删除,这样一来就避免了 每次处理都需要重新操作等待队列的问题
使用这两个函数我们自己来控制等待队列的添加和删除 从而避免频繁操作等待队列
,相关代码如下
import socket,select server = socket.socket() server.bind(("127.0.0.1",1688)) server.listen(5) #创建epoll事件对象，后续要监控的事件添加到其中 epoll = select.epoll() #注册服务器监听fd到等待读事件集合 epoll.register(server.fileno(), select.EPOLLIN) # 需要关注 server这个socket的可读事件 # 等待事件发生 while True: for sock,event in epoll.poll(): pass
epol为了解决这个问题,在内核中维护了一个就绪列表,
1.创建epoll对象,epoll也会对应一个文件,由文件系统管理
2.执行register时,将epoll对象 添加到socket的等待队列中
3.数据到达后,CPU执行中断程序,将数据copy给socket
4.在epoll中,中断程序接下来会执行epoll对象中的回调函数,传入就绪的socket对象
5.将socket,添加到就绪列表中
6.唤醒epoll等待队列中的进程,
进程唤醒后,由于存在就绪列表,所以不需要再遍历socket了,直接处理就绪列表即可
解决了这两个问题后,并发量得到大幅度提升,最大可同时维护上万级别的socket
import select 导入select模块 epoll = select.epoll() 创建一个epoll对象 epoll.register(文件句柄,事件类型) 注册要监控的文件句柄和事件 事件类型: select.EPOLLIN 可读事件 select.EPOLLOUT 可写事件 select.EPOLLERR 错误事件 select.EPOLLHUP 客户端断开事件 epoll.unregister(文件句柄) 销毁文件句柄 epoll.poll(timeout) 当文件句柄发生变化，则会以列表的形式主动报告给用户进程,timeout 为超时时间，默认为-1，即一直等待直到文件句柄发生变化，如果指定为1 那么epoll每1秒汇报一次当前文件句柄的变化情况，如果无变化则返回空 epoll.fileno() 返回epoll的控制文件描述符(Return the epoll control file descriptor) epoll.modfiy(fineno,event) fineno为文件描述符 event为事件类型 作用是修改文件描述符所对应的事件 epoll.fromfd(fileno) 从1个指定的文件描述符创建1个epoll对象 epoll.close() 关闭epoll对象的控制文件描述符
客户端:
#coding:utf-8 #客户端 #创建客户端socket对象 import socket clientsocket = socket.socket(socket.AF_INET,socket.SOCK_STREAM) #服务端IP地址和端口号元组 server_address = ('127.0.0.1',1688) #客户端连接指定的IP地址和端口号 clientsocket.connect(server_address) while True: #输入数据 data = raw_input('please input:') if data == "q": break if not data: continue #客户端发送数据 clientsocket.send(data.encode("utf-8")) #客户端接收数据 server_data = clientsocket.recv(1024) print ('客户端收到的数据：',server_data) #关闭客户端socket clientsocket.close()
服务端:
# coding:utf-8 import socket, select server = socket.socket() server.bind(("127.0.0.1", 1688)) server.listen(5) msgs = [] fd_socket = {server.fileno(): server} epoll = select.epoll() # 注册服务器的 写就绪 epoll.register(server.fileno(), select.EPOLLIN) while True: for fd, event in epoll.poll(): sock = fd_socket[fd] print(fd, event) # 返回的是文件描述符 需要获取对应socket if sock == server: # 如果是服务器 就接受请求 client, addr = server.accept() # 注册客户端写就绪 epoll.register(client.fileno(), select.EPOLLIN) # 添加对应关系 fd_socket[client.fileno()] = client # 读就绪 elif event == select.EPOLLIN: data = sock.recv(2018) if not data: # 注销事件 epoll.unregister(fd) # 关闭socket sock.close() # 删除socket对应关系 del fd_socket[fd] print(" somebody fuck out...") continue print(data.decode("utf-8")) # 读完数据 需要把数据发回去所以接下来更改为写就绪=事件 epoll.modify(fd, select.EPOLLOUT) #记录数据 msgs.append((sock,data.upper())) elif event == select.EPOLLOUT: for item in msgs[:]: if item[0] == sock: sock.send(item[1]) msgs.remove(item) # 切换关注事件为写就绪 epoll.modify(fd,select.EPOLLIN)
数据库的一些基本原理:
什么是数据库:
数据库本质就是一套CS结构的TCP程序，
客户端连接到服务器 向服务器发送指令，来完成数据的操作
数据库和文件系统的对应关系:
一个数据项 name = jerry 本质是文件中某一行的 一部分数据
一条记录 jerry，18，man 本质是文件里的一行数据
一张表 本质是一个文件
数据库 文件夹
DBMS DataBaseManagerSystem 数据库管理系统 数据库的服务器端程序
数据库服务器 运行有DBMS的计算机
安装方式: 掌握
1.下载解压包
2.解压到某个目录下
3.添加环境变量
将bin所在的完整路径 copy 添加系统的path中
4.作为服务器 应该自启动mysql服务器 需要制系统服务
mysqld --install 运行输入services 查看是是否成功
删除服务 sc delete mysql 如果需要重装的话...
启动服务 net start mysql
停止服务 net stop mysql
连接服务器的指令
本质是TCP程序,必须指定ip和端口 ,如果服务器就运行在本机上 可以省略ip 如果端口没改过 也可以省略端口
mysql -hip -P端口 -u用户名 -p密码 实例: mysql -uroot -p mysql 5.6 默认是没有密码的
修改管理员密码:
1.如果知道原始密码 可以使用mysqladmin 这个工具
mysqladmin -p旧密码 -u用户名 password 新密码
实例: mysqladmin -uroot -p password 123
2.不知道原始密码的情况:
删除密码文件,会删除所有授权信息
跳过授权表 我们可以在启动服务器时 指定让其忽略授权信息
1.先关闭mysql服务器 直接在终端执行 mysqld --skip-grant-tables
2.无密码登录root账户
3.执行更新语句
update mysql.user set password = password("123") where user="root" and host = "localhost";