1.1 LAMP企业架构读写分离
LAMP+Discuz+Redis缓解了MYSQL的部分压力,但是如果访问量非常大,Redis缓存中第一次没有缓存数据,会导致MYSQL数据库压力增大,此时可以基于分库、分表、分布式集群、或者读写分离来分担MYSQL数据库的压力,以读写分离为案例,来实现分担MYSQL数据库的压力。
MYSQL读写分离的原理其实就是让Master数据库处理事务性增、删除、修改、更新操作(CREATE、INSERT、UPDATE、DELETE),而让Slave数据库处理SELECT操作,MYSQL读写分离前提是基于MYSQL主从复制,这样可以保证在Master上修改数据,Slave同步之后,WEB应用可以读取到Slave端的数据。
实现MYSQL读写分离可以基于第三方插件,也可以通过开发修改代码实现,具体实现的读写分离的常见方式有如下四种:
MySQL-Proxy读写分离
Amoeba读写分离
Mycat读写分离
基于程序读写分离(效率很高,实施难度大,开发改代码)
Amoeba是以MySQL为底层数据存储,并对WEB、APP应用提供MySQL协议接口的proxy。它集中地响应WEB应用的请求,依据用户事先设置的规则,将SQL请求发送到特定的数据库上执行,基于此可以实现负载均衡、读写分离、高可用性等需求。
Amoeba相当于一个SQL请求的路由器,目的是为负载均衡、读写分离、高可用性提供机制,而不是完全实现它们。用户需要结合使用MySQL的 Replication等机制来实现副本同步等功能。
Mysql-Proxy是MySQL官方提供的mysql中间件服务,支持无数客户端连接,同时后端可连接若干台Mysql-Server服务器,MYSQL-Proxy自身基于MySQL协议,连接MYSQL-Proxy的客户端无需修改任何设置, 跟正常连接MYSQL Server没有区别,无需修改程序代码。
MySQL Proxy是App应用(客户端)与MYSQL Server之间的一个连接代理,MySQL Proxy负责将APP应用的SQL请求根据转发规则,转发至相应的后端数据库,基于lua脚本,可以实现复杂的连接控制和过滤,从而实现数据读写分离和负载均衡的需求。
Mysql-Proxy允许用户指定Lua脚本对SQL请求进行拦截,对请求进行分析与修改,还允许用户指定Lua脚本对服务器的返回结果进行修改,加入一些结果集或者去除一些结果集,对SQL的请求通常为读请求、写请求,基于Lua脚本,可以实现将SQL读请求转发至后端Slave服务器,将SQL写请求转发至后端Master服务器。
如图12-16所示,为MYSQL-PROXY读写分离架构图,通过架构图可以清晰看到SQL请求整个流向的过程。
图12-16 MYSQL-Proxy读写分离流程
Mysql-Proxy读写分离架构实战配置,如图12-17所示,两台WEB通过MYSQL-Proxy连接后端1.14和1.15 MYSQL服务器。
图12-17 MYSQL-Proxy实施架构图
构建Mysql读写分离架构首先需要将两台MYSQL服务器配置为主从复制(前文已存在,此处省略配置),配置完毕后,在192.168.1.16服务器上安装Mysql-Proxy服务即可,配置步骤如下:
(1) 下载MYSQL-Proxy软件版本,解压并重命名至/usr/local/mysql-proxy,命令如下:
wget http://ftp.ntu.edu.tw/pub/MySQL/Downloads/MySQL-Proxy/mysql-proxy-0.8.4-linux-el6-x86-64bit.tar.gz useradd -r mysql-proxy tar zxvf mysql-proxy-0.8.4-linux-el6-x86-64bit.tar.gz -C /usr/local mv /usr/local/mysql-proxy-0.8.4-linux-el6-x86-64bit /usr/local/mysql-proxy |
(2) 环境变量配置文件/etc/profile中加入如下代码保存退出,然后执行source /etc/profile使环境变量配置生效即可:
export PATH=$PATH:/usr/local/mysql-proxy/bin/ |
(3) 启动MYSQL-Proxy中间件,命令如下:
mysql-proxy --daemon --log-level=debug --user=mysql-proxy --keepalive --log-file=/var/log/mysql-proxy.log --plugins="proxy" --proxy-backend-addresses="192.168.1.14:3306" --proxy-read-only-backend-addresses="192.168.1.15:3306" --proxy-lua-script="/usr/local/mysql-proxy/share/doc/mysql-proxy/rw-splitting.lua" --plugins=admin --admin-username="admin" --admin-password="admin" --admin-lua-script="/usr/local/mysql-proxy/lib/mysql-proxy/lua/admin.lua" |
(4) Mysql-Proxy的相关参数详解如下:
--help-all :获取全部帮助信息; --proxy-address=host:port :代理服务监听的地址和端口,默认为4040; --admin-address=host:port :管理模块监听的地址和端口,默认为4041; --proxy-backend-addresses=host:port :后端mysql服务器的地址和端口; --proxy-read-only-backend-addresses=host:port :后端只读mysql服务器的地址和端口; --proxy-lua-script=file_name :完成mysql代理功能的Lua脚本; --daemon :以守护进程模式启动mysql-proxy; --keepalive :在mysql-proxy崩溃时尝试重启之; --log-file=/path/to/log_file_name :日志文件名称; --log-level=level :日志级别; --log-use-syslog :基于syslog记录日志; --plugins=plugin :在mysql-proxy启动时加载的插件; --user=user_name :运行mysql-proxy进程的用户; --defaults-file=/path/to/conf_file_name :默认使用的配置文件路径,其配置段使用[mysql-proxy]标识; --proxy-skip-profiling :禁用profile; --pid-file=/path/to/pid_file_name :进程文件名; |
(5) MYSQL-Proxy启动后,在服务器端查看端口,其中4040为proxy代理端口用于WEB应用连接,4041位管理端口用于SA或者DBA管理,如图12-48所示:
图12-48 MYSQL-Proxy启动端口
(6) 基于4041端口MySQL-Proxy查看读写分离状态,登录4041管理端口,命令如下:
mysql -h192.168.1.16 -uadmin -p -P 4041 |
(7) 以4041管理口登录,然后执行select命令,如图12-18所示state均为up状态,type类型为rw、ro,则证明读写分离状态成功。如果状态为unknown未知状态,可以4040端口登录执行:show databases;命令,直到state变成up状态为止。
select * from backends; |
图12-18 MYSQL-Proxy读写分离状态
(8) 读写分离数据测试,以3306端口登录到从库,进行数据写入和测试,在丛库上创建jfedu_test测试库,并写入内容,如图12-19所示:
图12-19 MYSQL-Proxy读写分离测试
(9) 读写分离数据测试,以4040代理端口登录,执行如下命令,可以查看到数据即证明读写分离成功。
mysql -h192.168.1.16 -uroot -p123456 -P4040 -e "select * from jfedu_test.t1;" |
(10) 登录Apache WEB服务器,修改Discuz PHP网站发布/usr/local/apache2/htdcos目录全局配置文件config_global.php,查找dbhost段,将192.168.1.16 改成192.168.1.16:40404,如图12-20所示:
图12-20 MYSQL-Proxy读写分离测试