第1章 MySQL 高可用
主从高可用要求
1.监控所有节点
2.failover vip通知客户端
3.数据补偿功能
1.1 MHA简介
1、三台mysql独立节点实例，开启1主2从GTID复制结构
2、关闭各节点relay-log自动删除功能
3、各节点部署node工具包及依赖包
4、选择其中一个从节点进行部署manager工具包
5、各节点ssh秘钥互信配置
6、配置manager节点配置文件（注意在数据库中添加mha管理用户和密码）
7、做ssh互信检查和主从状态检查
8、开启MHA功能
-----------------
1.1.1 介绍
实现原理：MHA 是由日本Mysql 专家用Perl 写的一套Mysql 故障切换方案以保障数据库的高可用性，它的功能是能在0-30s 之内实现主Mysql 故障转移（failover），MHA 故障转移可以很好的帮我们解决从库数据的一致性问题，同时最大化挽回故障发生后的数据。MHA 里有两个角色一个是node 节点 一个是manager 节点，要实现这个MHA，必须最少要三台数据库服务器，一主多备，即一台充当master，一台充当master 的备份机，另外一台是从属机，这里实验为了实现更好的效果使用四台机器，需要说明的是一旦主服务器宕机，备份机即开始充当master 提供服务，如果主服务器上线也不会再成为master 了，因为如果这样数据库的一致性就被改变了。
该软件由两部分组成：MHA Manager（管理节点）和MHA Node（数据节点）。MHA Manager 可以单独部署在一台独立的机器上管理多个master-slave 集群，也可以部署在一台slave 节点上。MHA Node 运行在每台MySQL 服务器上，MHA Manager 会定时探测集群中的master 节点，当master 出现故障时，它可以自动将最新数据的slave 提升为新的master，然后将所有其他的slave 重新指向新的master。整个故障转移过程对应用程序完全透明。在MHA 自动故障切换过程中，MHA 试图从宕机的主服务器上保存二进制日志，最大程度的保证数据的不丢失，但这并不总是可行的。例如，如果主服务器硬件故障或无法通过ssh 访问，MHA 没法保存二进制日志，只进行故障转移而丢失了最新的数据。使用MySQL 5.5 的半同步复制，可以大大降低数据丢失的风险。MHA 可以与半同步复制结合起来。如果只有一个slave 已经收到了最新的二进制日志，MHA 可以将最新的二进制日志应用于其他所有的slave服务器上，因此可以保证所有节点的数据一致性。
目前MHA 主要支持一主多从的架构，要搭建MHA,要求一个复制集群中必须最少有三台数据库服务器，一主二从，即一台充当master，一台充当备用master，另外一台充当从库，因为至少需要三台服务器，出于机器成本的考虑，淘宝也在该基础上进行了改造，目前淘宝TMHA 已经支持一主一从。
官方介绍：https://code.google.com/p/mysql-master-ha/
1.1.2 MHA工作流程
1．从宕机崩溃的master 保存二进制日志事件（binlog events）;
2．识别含有最新更新的slave；
3．应用差异的中继日志（relay log）到其他的slave；
4．应用从master 保存的二进制日志事件（binlog events）；
5．提升一个slave 为新的master；
6．使其他的slave 连接新的master 进行复制；
1.1.3 MHA架构图
1.1.4 MHA工具介绍
主要包括以下几个工具：
1．masterha_check_ssh 检查MHA 的SSH 配置状况
2．masterha_check_repl 检查MySQL 复制状况
3．masterha_manger 启动MHA
4．masterha_check_status 检测当前MHA 运行状态
5．masterha_master_monitor 检测master 是否宕机
6．masterha_master_switch 控制故障转移（自动或者手动）
7．masterha_conf_host 添加或删除配置的server 信息
Node 工具包
这些工具通常由MHA Manager 的脚本触发，无需人为操作）主要包括以下几个工具：
save_binary_logs 保存和复制master 的二进制日志
apply_diff_relay_logs 识别差异的中继日志事件并将其差异的事件应用于其他的slave
filter_mysqlbinlog 去除不必要的ROLLBACK 事件（MHA 已不再使用这个工具）
purge_relay_logs 清除中继日志（不会阻塞SQL 线程）
注意：
为了尽可能的减少主库硬件损坏宕机造成的数据丢失，因此在配置MHA 的同时建议配置成MySQL 5.5 的半同步复制。关于半同步复制原理各位自己进行查阅。（不是必须）
1.1.5 MHA优点
² 自动故障转移快
² 主库崩溃不存在数据一致性的问题
² 不需要对当前mysql环境做重大修改
² 不需要添加额外的服务器（仅一台master就可以管理上百个replication）
² 性能优秀，可工作在本同步复制和异步复制，当监控mysql状态时只需要每隔N秒向master发送ping包（默认3秒），所以对性能没有影响
² 只要replication支持的存储引擎，MHA都支持不会局限于innodb引擎。
1.2 配置主从GTID
1.2.1 先决条件
² 主库和从库都要开启binlog
² 主库和从库server-id不同
² 要有主从复制用户
1.2.2 修改配置文件开启GTID
主库：
log_bin=mysql-bin
server_id = 1
gtid-mode=on --启用gtid类型，否则就是普通的复制架构
enforce-gtid-consistency=true --强制GTID的一致性
log-slave-updates=1 --slave更新是否记入日志
slave01：
log_bin=mysql-bin
server_id = 2
gtid-mode=on
enforce-gtid-consistency=true
log-slave-updates
slave02:
log_bin=mysql-bin
server_id = 3
gtid-mode=on
enforce-gtid-consistency=true
log-slave-updates
1.2.3 数据库配置
主库：创建主从复制用户
grant replication slave on *.* to repl@'10.0.0.%' identified by '123';
从库开启
change master to master_host='10.0.0.51',master_user='repl',master_password='123' ,MASTER_AUTO_POSITION=1;
start slave;
mysql> show slave statusG
1.2.4 主从库设置
mysql> set global relay_log_purge = 0;#禁用自动删除relaylog
设置从库只读（不能再主库执行）
set global read_only=1;
在配置文件添加禁用自动删除relaylog功能
relay_log_purge = 0
1.3 部署MHA
1.3.1 基础环境
所有节点安装
root@mysql-db01 ~]# yum install perl-DBD-MySQL -y
rpm -ivh mha4mysql-node-0.56-0.el6.noarch.rpm
创建管理用户：
grant all privileges on *.* to mha@'10.0.0.5%' identified by 'mha';#主库执行从库也就也有了
命令软链接：三台都需要操作
[root@mysql-db01 tools]# ln -s /application/mysql/bin/mysqlbinlog /usr/bin/mysqlbinlog
[root@mysql-db01 tools]# ln -s /application/mysql/bin/mysql /usr/bin/mysql
1.3.2 部署管理节点（mha-master）
统一安装在10.0.0.53机器上（可以安装在一台从库，或者其他一台机器上不能使主库）
wget -O /etc/yum.repos.d/epel.repo http://mirrors.aliyun.com/repo/epel-6.repo
安装依赖
yum install -y perl-Config-Tiny epel-release perl-Log-Dispatch
perl-Parallel-ForkManager perl-Time-HiRes
[root@mysql-db03 tools]# rpm -ivh mha4mysql-manager-0.56-0.el6.noarch.rpm
创建日志和配置文件目录
[root@mysql-db03 tools]# mkdir -p /var/log/mha/app1 可以管理多套主从复制
[root@mysql-db03 tools]# mkdir -p /etc/mha
创建配置文件(不需要的配置不要留着，注释没用,切换后会重写)
[root@mysql-db03 ~]# vim /etc/mha/app1.cnf
[server default]#全局主配置文件
[server default]
manager_log=/var/log/mha/app1/manager
manager_workdir=/var/log/mha/app1
master_binlog_dir=/data/mysql
user=mha
password=mha
ping_interval=2
repl_password=123
repl_user=repl
ssh_user=root
[server1]
hostname=10.0.0.51
port=3306
[server2]
hostname=10.0.0.52
port=3306
[server3]
hostname=10.0.0.53
port=3306
1.3.3 配置SSH信任（所有节点）
ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa >/dev/null 2>&1
ssh-copy-id -i /root/.ssh/id_dsa.pub root@10.0.0.51
ssh-copy-id -i /root/.ssh/id_dsa.pub root@10.0.0.52
ssh-copy-id -i /root/.ssh/id_dsa.pub root@10.0.0.53
1.3.4 启动测试
[root@mysql-db03 ~]# masterha_check_ssh --conf=/etc/mha/app1.cnf 检测ssh
Sun Dec 10 12:35:17 2017 - [warning] Global configuration file /etc/masterha_default.cnf not found. Skipping.
Sun Dec 10 12:35:17 2017 - [info] Reading application default configuration from /etc/mha/app1.cnf..
Sun Dec 10 12:35:17 2017 - [info] Reading server configuration from /etc/mha/app1.cnf..
Sun Dec 10 12:35:17 2017 - [info] Starting SSH connection tests..
Sun Dec 10 12:35:18 2017 - [debug]
Sun Dec 10 12:35:18 2017 - [debug] Connecting via SSH from root@10.0.0.51(10.0.0.51:22) to root@10.0.0.52(10.0.0.52:22)..
Sun Dec 10 12:35:18 2017 - [debug] ok.
Sun Dec 10 12:35:18 2017 - [debug] Connecting via SSH from root@10.0.0.51(10.0.0.51:22) to root@10.0.0.53(10.0.0.53:22)..
Sun Dec 10 12:35:18 2017 - [debug] ok.
Sun Dec 10 12:35:19 2017 - [debug]
Sun Dec 10 12:35:18 2017 - [debug] Connecting via SSH from root@10.0.0.52(10.0.0.52:22) to root@10.0.0.51(10.0.0.51:22)..
Sun Dec 10 12:35:18 2017 - [debug] ok.
Sun Dec 10 12:35:18 2017 - [debug] Connecting via SSH from root@10.0.0.52(10.0.0.52:22) to root@10.0.0.53(10.0.0.53:22)..
Sun Dec 10 12:35:18 2017 - [debug] ok.
Sun Dec 10 12:35:19 2017 - [debug]
Sun Dec 10 12:35:19 2017 - [debug] Connecting via SSH from root@10.0.0.53(10.0.0.53:22) to root@10.0.0.51(10.0.0.51:22)..
Sun Dec 10 12:35:19 2017 - [debug] ok.
Sun Dec 10 12:35:19 2017 - [debug] Connecting via SSH from root@10.0.0.53(10.0.0.53:22) to root@10.0.0.52(10.0.0.52:22)..
Sun Dec 10 12:35:19 2017 - [debug] ok.
Sun Dec 10 12:35:19 2017 - [info] All SSH connection tests passed successfully.
1.3.5 检测主从
[root@mysql-db03 ~]# masterha_check_repl --conf=/etc/mha/app1.cnf 检测主从
Sun Dec 10 12:45:09 2017 - [warning] Global configuration file /etc/masterha_default.cnf not found. Skipping.
Sun Dec 10 12:45:09 2017 - [info] Reading application default configuration from /etc/mha/app1.cnf..
………………………
MySQL Replication Health is OK.
[root@mysql-db03 ~]#
1.3.6 启动mha
[root@mysql-db03 ~]# nohup masterha_manager --conf=/etc/mha/app1.cnf --remove_dead_master_conf --ignore_last_failover < /dev/null > /var/log/mha/app1/manager.log 2>&1 &
[1] 2907
--remove_dead_master_conf #指定删除down机的server标签
--ignore_last_failover#忽略上一次切换
自动切换一次需要在八个小时之后才会切换
[root@mysql-db03 ~]#
[root@mysql-db03 ~]# masterha_check_status --conf=/etc/mha/app1.cnf
app1 (pid:2907) is running(0:PING_OK), master:10.0.0.51
[root@mysql-db03 ~]#
1.3.7 停止MHA
masterha_stop --conf=/etc/mha/app1.cnf
1.4 配置VIP漂移
[root@mysql-db03
~]# vim /etc/mha/app1.cnf
[server default]
master_ip_failover_script=/usr/local/bin/master_ip_failover
将脚本添加到文件‘
cd /usr/local/bin/
mv
/server/tools/master_ip_failover
/usr/local/bin/
[root@mysql-db03 bin]# chmod +x master_ip_failover
[root@mysql-db03 bin]# dos2unix master_ip_failover
dos2unix: converting file master_ip_failover to UNIX format ...
内容
vim /usr/local/bin/master_ip_failover
添加内容。。。。
my $vip = '10.0.0.55/24';
my $key = '1';
my $ssh_start_vip = "/sbin/ifconfig eth0:$key $vip";
my $ssh_stop_vip = "/sbin/ifconfig eth0:$key down";
重启mha
[root@mysql-db03 ~]# masterha_stop --conf=/etc/mha/app1.cnf 停止
Stopped app1 successfully.
[1]+ Exit 1 nohup masterha_manager --conf=/etc/mha/app1.cnf --remove_dead_master_conf --ignore_last_failover < /dev/null > /var/log/mha/app1/manager.log 2>&1 &
[root@mysql-db03 ~]#
[root@mysql-db03 bin]#
手工在主库上绑定vip，注意一定要和配置文件中的ethN一致，我的是eth0:1(1是key指定的值)
[root@mysql-db03 bin]# ifconfig
eth0:1 10.0.0.55/24
[root@mysql-db03 bin]# nohup masterha_manager --conf=/etc/mha/app1.cnf --remove_dead_master_conf --ignore_last_failover < /dev/null > /var/log/mha/app1/manager.log 2>&1 &
[1] 7841
[root@mysql-db03 bin]# masterha_check_status --conf=/etc/mha/app1.cnf
app1 (pid:7841) is running(0:PING_OK), master:10.0.0.52
[root@mysql-db03 bin]#
1.4.1 漂移脚本：
[root@mysql-db03 bin]# cat master_ip_failover
#!/usr/bin/env perl
use strict;
use warnings FATAL => 'all';
use Getopt::Long;
my (
$command, $ssh_user, $orig_master_host, $orig_master_ip,
$orig_master_port, $new_master_host, $new_master_ip, $new_master_port
);
my $vip = '10.0.0.55/24';
my $key = '0';
my $ssh_start_vip = "/sbin/ifconfig eth0:$key $vip";
my $ssh_stop_vip = "/sbin/ifconfig eth0:$key down";
GetOptions(
'command=s' => $command,
'ssh_user=s' => $ssh_user,
'orig_master_host=s' => $orig_master_host,
'orig_master_ip=s' => $orig_master_ip,
'orig_master_port=i' => $orig_master_port,
'new_master_host=s' => $new_master_host,
'new_master_ip=s' => $new_master_ip,
'new_master_port=i' => $new_master_port,
);
exit &main();
sub main {
print " IN SCRIPT TEST====$ssh_stop_vip==$ssh_start_vip=== ";
if ( $command eq "stop" || $command eq "stopssh" ) {
my $exit_code = 1;
eval {
print "Disabling the VIP on old master: $orig_master_host ";
&stop_vip();
$exit_code = 0;
};
if ($@) {
warn "Got Error: $@ ";
exit $exit_code;
}
exit $exit_code;
}
elsif ( $command eq "start" ) {
my $exit_code = 10;
eval {
print "Enabling the VIP - $vip on the new master - $new_master_host ";
&start_vip();
$exit_code = 0;
};
if ($@) {
warn $@;
exit $exit_code;
}
exit $exit_code;
}
elsif ( $command eq "status" ) {
print "Checking the Status of the script.. OK ";
exit 0;
}
else {
&usage();
exit 1;
}
}
sub start_vip() {
`ssh $ssh_user@$new_master_host " $ssh_start_vip "`;
}
sub stop_vip() {
return 0 unless ($ssh_user);
`ssh $ssh_user@$orig_master_host " $ssh_stop_vip "`;
}
sub usage {
"Usage: master_ip_failover --command=start|stop|stopssh|status --orig_master_host=host --orig_master_ip=ip --orig_master_port=port --new_master_host=host --new_master_ip=ip --new_master_port=port ";
}
[root@mysql-db03 bin]#
停掉主库
[root@mysql-db02 tools]# /etc/init.d/mysqld stop
开启mha
[root@mysql-db03 bin]# nohup masterha_manager --conf=/etc/mha/app1.cnf --remove_dead_master_conf --ignore_last_failover < /dev/null > /var/log/mha/app1/manager.log 2>&1 &
[1] 8157
[root@mysql-db03 bin]# masterha_check_status --conf=/etc/mha/app1.cnf
app1 (pid:8157) is running(0:PING_OK), master:10.0.0.51此时主库是51那么漂移成功
[root@mysql-db03 bin]#
1.4.2 测试切换
打开日志
[root@mysql-db03 ~]# tail -f /var/log/mha/app1/manager
[root@mysql-db01 tools]# /etc/init.d/mysqld stop #停掉主库
注意：当主库当掉之后，MHA自动切换到一台机器后，MHA会自动关闭，需要修改后手动开启MHA
日志显示
Started automated(non-interactive) failover.
Selected 10.0.0.52(10.0.0.52:3306) as a new master.
10.0.0.52(10.0.0.52:3306): OK: Applying all logs succeeded.
10.0.0.53(10.0.0.53:3306): OK: Slave started, replicating from 10.0.0.52(10.0.0.52:3306)
10.0.0.52(10.0.0.52:3306): Resetting slave info succeeded.
Master failover to 10.0.0.52(10.0.0.52:3306)
completed successfully.
1、修复旧master，并启动。
2、找到日志中的change master 语句，将旧的mater变成从
mysql> CHANGE MASTER TO MASTER_HOST='10.0.0.52', MASTER_PORT=3306, MASTER_AUTO_POSITION=1, MASTER_USER='rep', MASTER_PASSWORD='oldboy123';
Query OK, 0 rows affected, 2 warnings (0.12 sec)
mysql> start slave;
Query OK, 0 rows affected (0.01 sec)
3、添加配置文件中的server标签
[root@mysql-db03 ~]# vim /etc/mha/app1.cnf
[server1]
hostname=10.0.0.51
port=3306
4、启动mha查看状态
[root@mysql-db03 ~]# nohup masterha_manager --conf=/etc/mha/app1.cnf --remove_dead_master_conf --ignore_last_failover < /dev/null > /var/log/mha/app1/manager.log 2>&1 &
[1] 6462
[root@mysql-db03 ~]# masterha_check_status --conf=/etc/mha/app1.cnf
app1 (pid:6462) is running(0:PING_OK), master:10.0.0.52
[root@mysql-db03 ~]#
指定切换到哪一台节点上
[server1]
hostname=10.0.0.51
port=3306
[server2]
#candidate_master=1在哪一个server标签上设置就会切换到哪一个机器。就不会按照binlog位置切换了。
#check_repl_delay=0
hostname=10.0.0.52
port=3306
[server3]
hostname=10.0.0.53
port=3306
#candidate_master=1
#check_repl_delay=0
1.4.3 配置文件详解
[server default]
#设置manager的工作目录
manager_workdir=/var/log/masterha/app1
#设置manager的日志
manager_log=/var/log/masterha/app1/manager.log
#设置master 保存binlog的位置，以便MHA可以找到master的日志，我这里的也就是mysql的数据目录
master_binlog_dir=/data/mysql
#设置自动failover时候的切换脚本
master_ip_failover_script= /usr/local/bin/master_ip_failover
#设置手动切换时候的切换脚本
master_ip_online_change_script= /usr/local/bin/master_ip_online_change
#设置mysql中root用户的密码，这个密码是前文中创建监控用户的那个密码
password=123456
#设置监控用户root
user=root
#设置监控主库，发送ping包的时间间隔，尝试三次没有回应的时候自动进行failover
ping_interval=1
#设置远端mysql在发生切换时binlog的保存位置
remote_workdir=/tmp
#设置复制用户的密码
repl_password=123456
#设置复制环境中的复制用户名
repl_user=rep
#设置发生切换后发送的报警的脚本
report_script=/usr/local/send_report
#一旦MHA到server02的监控之间出现问题，MHA Manager将会尝试从server03登录到server02
secondary_check_script= /usr/local/bin/masterha_secondary_check -s server03 -s server02 --user=root --master_host=server02 --master_ip=192.168.0.50
--master_port=3306
#设置故障发生后关闭故障主机脚本（该脚本的主要作用是关闭主机放在发生脑裂,这里没有使用）
shutdown_script=""
#设置ssh的登录用户名
ssh_user=root
[server1]
hostname=10.0.0.51
port=3306
[server2]
hostname=10.0.0.52
port=3306
#设置为候选master，如果设置该参数以后，发生主从切换以后将会将此从库提升为主库，即使这个主库不是集群中事件最新的slave
candidate_master=1
#默认情况下如果一个slave落后master 100M的relay logs的话，MHA将不会选择该slave作为一个新的master，因为对于这个slave的恢复需要花费很长时间，通过设置check_repl_delay=0,MHA触发切换在选择一个新的master的时候将会忽略复制延时，这个参数对于设置了candidate_master=1的主机非常有用，因为这个候选主在切换的过程中一定是新的master
check_repl_delay=0
1.5 binlog-server配置
修改配置文件（先决条件有一套带有GTID的MHA集群）
找一台额外的机器，必须要有5.6以上的版本，支持gtid并开启，我们直接用的第二个slave
[root@mysql-db03 bin]# vim /etc/mha/app1.cnf
[binlog1]
no_master=1
hostname=10.0.0.53
master_binlog_dir=/data/mysql/binlog/
创建目录
[root@mysql-db03 bin]# mkdir -p
/data/mysql/binlog/
状态查看
[root@mysql-db03 binlog]#
masterha_check_status --conf=/etc/mha/app1.cnf
app1 is stopped(2:NOT_RUNNING).
从主库拉去binlog日志
[root@mysql-db03 bin]# cd /data/mysql/binlog/
[root@mysql-db03 binlog]# ll
total 0
[root@mysql-db03 binlog]# mysqlbinlog -R --host=10.0.0.51 --user=mha --password=mha --raw --stop-never mysql-bin.000001 &
[root@mysql-db03 binlog]# masterha_stop --conf=/etc/mha/app1.cnf
nohup masterha_manager --conf=/etc/mha/app1.cnf --remove_dead_master_conf
--ignore_last_failover < /dev/null > /var/log/mha/app1/manager.log
2>&1
masterha_check_status --conf=/etc/mha/app1.cnf
1.6 send_report
(1)准备发邮件的脚本(我们已经为大家准备好了script.tar.gz)
将以上脚本解压到 /usr/local/bin
(2)将准备好的脚本添加到mha配置文件中,让其调用
vi /etc/mha/app1.cnf
report_script=/usr/local/bin/send
（3）停止MHA
/usr/bin/masterha_stop --conf=/etc/mha/app1.cnf
（4）开启MHA
nohup masterha_manager --conf=/etc/mha/app1.cnf --remove_dead_master_conf --ignore_last_failover < /dev/null > /var/log/mha/app1/manager.log 2>&1 &
(5) 关闭主库,看警告邮件
change master to master_host='10.0.0.53',master_user='repl',master_password='123' ,MASTER_AUTO_POSITION=1;
----------------------------
1.7 mysql中间键Atlas
1.7.1 主要功能
1、读写分离
2、从库负载均衡
3、IP过滤
4、自动分表
5、DBA可以平滑上下线DB
6、自动摘除宕机的DB
1.7.2 Atlas相对于官方对的MySQL-proxy
1.7.3 安装
[root@mysql-db01 tools]# rpm -ivh Atlas-2.2.1.el6.x86_64.rpm
1.7.4 修改配置文件
配置加密密码
[root@mysql-db01 bin]# cd /usr/local/mysql-proxy/
[root@mysql-db01 bin]#/usr/local/mysql-proxy/bin/encrypt 123 ---->制作加密密码
3yb5jEku5h4=
[root@mysql-db01 bin]# vim /usr/local/mysql-proxy/conf/test
[mysql-proxy]
#带#号的为非必需的配置项目
#管理接口的用户名
admin-username = user
#管理接口的密码
admin-password = pwd
#Atlas后端连接的MySQL主库的IP和端口，可设置多项，用逗号分隔
proxy-backend-addresses = 10.0.0.55:3306
#Atlas后端连接的MySQL从库的IP和端口，@后面的数字代表权重，用来作负载均衡，若省略则默认为1，可设置多项，用逗号分隔
proxy-read-only-backend-addresses = 10.0.0.52:3306,10.0.0.53:3306
#用户名与其对应的加密过的MySQL密码，密码使用PREFIX/bin目录下的加密程序encrypt加密，下行的user1和user2为示例，将其替换为你的MySQL的用户名和加密密码！
pwds = root:1N/CNLSgqXuTZ6zxvGQr9A==,rep:1N/CNLSgqXuTZ6zxvGQr9A==,mha:O2jBXONX098=
#设置Atlas的运行方式，设为true时为守护进程方式，设为false时为前台方式，一般开发调试时设为false，线上运行时设为true,true后面不能有空格。
daemon = true
#设置Atlas的运行方式，设为true时Atlas会启动两个进程，一个为monitor，一个为worker，monitor在worker意外退出后会自动将其重启，设为false时只有worker，没有monitor，一般开发调试时设为false，线上运行时设为true,true后面不能有空格。
keepalive = true
#工作线程数，对Atlas的性能有很大影响，可根据情况适当设置
event-threads = 8
#日志级别，分为message、warning、critical、error、debug五个级别
log-level = error
#日志存放的路径
log-path = /usr/local/mysql-proxy/log
#SQL日志的开关，可设置为OFF、ON、REALTIME，OFF代表不记录SQL日志，ON代表记录SQL日志，REALTIME代表记录SQL日志且实时写入磁盘，默认为OFF
sql-log = ON
#慢日志输出设置。当设置了该参数时，则日志只输出执行时间超过sql-log-slow（单位：ms)的日志记录。不设置该参数则输出全部日志。
#sql-log-slow = 10
#实例名称，用于同一台机器上多个Atlas实例间的区分
#instance = test
#Atlas监听的工作接口IP和端口
proxy-address = 0.0.0.0:3307
#Atlas监听的管理接口IP和端口
admin-address = 0.0.0.0:2345
#分表设置，此例中person为库名，mt为表名，id为分表字段，3为子表数量，可设置多项，以逗号分隔，若不分表则不需要设置该项
#tables = person.mt.id.3
#默认字符集，设置该项后客户端不再需要执行SET NAMES语句
charset = utf8
#允许连接Atlas的客户端的IP，可以是精确IP，也可以是IP段，以逗号分隔，若不设置该项则允许所有IP连接，否则只允许列表中的IP连接
#client-ips = 127.0.0.1, 192.168.1
#Atlas前面挂接的LVS的物理网卡的IP(注意不是虚IP)，若有LVS且设置了client-ips则此项必须设置，否则可以不设置
#lvs-ips = 192.168.1.1
[root@mysql-db01 conf]#
1.7.5 开启
[root@mysql-db01 conf]# /usr/local/mysql-proxy/bin/mysql-proxyd test start
OK: MySQL-Proxy of test is started
[root@mysql-db01 conf]#
查看有两个进程
[root@mysql-db01 conf]# netstat -luntp
Active Internet connections (only servers)
Proto Recv-Q Send-Q Local Address Foreign Address State PID/Program name
tcp 0 0 0.0.0.0:2345 0.0.0.0:* LISTEN 3936/mysql-proxy
tcp 0 0 0.0.0.0:3307 0.0.0.0:* LISTEN 3936/mysql-pro
1.7.6 登录
[root@mysql-db01 data]# mysql -uuser -ppwd -h127.0.0.1 -P2345
读的测试
show variables like 'server_id';
set global read_only=1;
连接测试
mysql -umha -pmha -h10.0.0.53 -P33060
create database db1;
动态添加删除节点：
REMOVE BACKEND 3;
ADD SLAVE 10.0.0.53:3306;
SAVE CONFIG;
mysql> SELECT * FROM help
-> ;
+----------------------------+---------------------------------------------------------+
| command | description |
+----------------------------+---------------------------------------------------------+
| SELECT * FROM help | shows this help |
| SELECT * FROM backends | lists the backends and their state后端数据库 |
| SET OFFLINE $backend_id | offline backend server, $backend_id is backend_ndx's id |平滑下线
| SET ONLINE $backend_id | online backend server, ... |平滑上线
| ADD MASTER $backend | example: "add master 127.0.0.1:3306", ... |添加master
| ADD SLAVE $backend | example: "add slave 127.0.0.1:3306", ... |添加slave
| REMOVE BACKEND $backend_id | example: "remove backend 1", ... |
| SELECT * FROM clients | lists the clients |
| ADD CLIENT $client | example: "add client 192.168.1.2", ... |
| REMOVE CLIENT $client | example: "remove client 192.168.1.2", ... |
| SELECT * FROM pwds | lists the pwds |
| ADD PWD $pwd | example: "add pwd user:raw_password", ... 自动加密密码 |
| ADD ENPWD $pwd | example: "add enpwd user:encrypted_password", ... 需要先加密密码后输入需要添加加密后的密码 |
| REMOVE PWD $pwd | example: "remove pwd user", ... |
| SAVE CONFIG | save the backends to config file 保存配置 |
| SELECT VERSION | display the version of Atlas
1.7.7 自动分表
school.stu 1000w
id name
stu_0 stu_1 stu_2 stu_3 stu_4
stu 表 1000w数据 , id name
以上分表方式,存数据非常均匀,取数据不均与,因为要考虑业务需求
如果业务查询热点数据集中在id是1-200w这些数据,那么读取就不均匀
取模分表
n/5 取余数 (0,1,2,3,4)
(1)如果是 0 则分到 stu_0
(2)如果是 1 则分到 stu_1
(3)如果是 2 则分到 stu_2
(4)如果是 3 则分到 stu_3
(5)如果是 4 则分到 stu_4
取余数
配置文件
vi /usr/local/mysql-proxy/conf/test.cnf
tables = school.stu.id.5
重启atlas
(主库)手工创建,分表后的库和表,分别为定义的school 和 stu_0 stu_1 stu_2 stu_3 stu_4
create database school;
use school
create table stu_0 (id int,name varchar(20));
create table stu_1 (id int,name varchar(20));
create table stu_2 (id int,name varchar(20));
create table stu_3 (id int,name varchar(20));
create table stu_4 (id int,name varchar(20));
测试:
insert into stu values (3,'wang5');
insert into stu values (2,'li4');
insert into stu values (1,'zhang3');
insert into stu values (4,'m6');
insert into stu values (5,'zou7');
commit;