3.Mysql之MHA实战(03)

1.前言

　　前面基本上已经都讲完了MHA的原理部分，这小结主要是动手实操一下MHA

2.前提准备

　　1.首先下载MHA软件包　　　

(1)#下载mha软件
　　mha官网：https://code.google.com/archive/p/mysql-master-ha/
　　github下载地址：https://github.com/yoshinorim/mha4mysql-manager/wiki/Downloads

　　2.规划：

　　   我这里的一主两从的结构

　　　主节点:192.168.31.201:3307        从节点1：192.168.31.201:3308          从节点2：192.168.31.202:3307

　　   这里说明一下：manager包可以安装在任意一个节点上都行(一个)，然后node包要安装到所有的节点上

　　   因此，这里我把manager包安装到从节点2上面，node节点包需要三台都安装

　  3.配置免密钥

　　　　mha所有的机器上都应该配置免密钥才行，这个是为后面的ssh 连接做准备的

　　　　ssh-keygen -t rsa     ssh-copy-id  root@hostip　　    这个免密配置的有问题？　　

　　在主库中操作：
　　　　rm -rf /root/.ssh

　　　　ssh-keygen

　　　　cd /root/.ssh

　　　　mv id_rsa.pub authorized_keys

　　　　scp -r /root/.ssh root@hostip:/root ###操作是将主库中的/root/.ssh 文件拷贝到其他从库的根目录下

　　4.在主库中创建mha需要的用户(注意:应该此时主从复制已经存在，所以当主库建立用户mha时，从库中也相应的生成mha用户)

　　　　grant all privileges on *.* to mha@'172.17.94.%' identified by '123';

3.开始实操

　　安装依赖包(很重要)

yum install perl-DBI perl-DBD-MySQL perl-Config-Tiny perl-Log-Dispatch perl-Parallel-ForkManager perl-Time-HiRes perl-Params-Validate perl-DateTime -y

yum install epel-release -y

　　然后再用  rpm -ivh  + mha-manager包名称安装

　　MHA软件构成　

Manager工具包主要包括以下几个工具：
masterha_manger             启动MHA 
masterha_check_ssh      检查MHA的SSH配置状况 
masterha_check_repl         检查MySQL复制状况 
masterha_master_monitor     检测master是否宕机 
masterha_check_status       检测当前MHA运行状态 
masterha_master_switch  控制故障转移（自动或者手动）
masterha_conf_host      添加或删除配置的server信息

Node工具包主要包括以下几个工具：
这些工具通常由MHA Manager的脚本触发，无需人为操作
save_binary_logs            保存和复制master的二进制日志(脚本) 
apply_diff_relay_logs       识别差异的中继日志事件并将其差异的事件应用于其他的(脚本)
purge_relay_logs            清除中继日志（不会阻塞SQL线程）(脚本)

　　配置文件

准备配置文件(这里的配置文件时安装MHA管理节点)
创建配置文件目录
 mkdir -p /etc/mha
创建日志目录
 mkdir -p /var/log/mha/app1
编辑mha配置文件
vim /etc/mha/app1.cnf
[server default]
manager_log=/var/log/mha/app1/manager        ###这个自己定义就可以了，这个是mha比较重要的日志
manager_workdir=/var/log/mha/app1            ###这个自己定义就可以了
master_binlog_dir=/data/binlog               ###这个是主库的binlog日志的位置，全局的binlog日志位置master_ip_failover_script=/usr/local/bin/master_ip_failover #添加脚本位置，这个是应用透明代理的(vip)管理的地方
user=mhapassword=123                               
ping_interval=2
repl_password=123
repl_user=repl
ssh_user=root                               
[server1]                                   
hostname=192.168.31.201
port=3307                                  
[server2]            
hostname=192.168.31.201
port=3308
[server3]
hostname=192.168.31.202
port=3308

4.开始启动

　　节点状态检查(管理节点)

masterha_check_ssh  --conf=/etc/mha/app1.cnf    #互信检查
   
masterha_check_repl  --conf=/etc/mha/app1.cnf    #主从状态检查

　　启动MHA　　

nohup masterha_manager --conf=/etc/mha/app1.cnf --remove_dead_master_conf --ignore_last_failover  < /dev/null> /var/log/mha/app1/manager.log 2>&1 &

　　关闭MHA

masterha_stop   --conf=/etc/mha/app1.cnf

　　查看MHA状态　

masterha_check_status --conf=/etc/mha/app1.cnf####通过以下命令来验证
mysql -umha -p123 -h 192.168.31.201 -P3307 -e "show variables like 'server_id'"
mysql -umha -p123 -h 192.168.31.202 -P3307 -e "show variables like 'server_id'"
mysql -umha -p123 -h 192.168.31.201 -P3308 -e "show variables like 'server_id'"　

5.故障模拟以及处理

　　模拟

　　　　1.这里模拟停掉主库

　　　　　　-->systemctl stop mysqld3307

　　　　2.停掉主库后，发现mha进行退出，且mha中的配置文件中关于主库的配置信息被清除了

　　　　3.通过mha的日志文件manager发现新的主节点已经被选择出来了

　　处理：

　　　　通过上面可以发现原主节点被宕掉了，且mha进程退出了，关于原主节点在配置文件中也被清除了，因此:

　　　　  当修复原主节点后，用change master to 命令重新指向新的主节点

　　　　  添加原主节点的信息到mha的配置文件中

　　　　  重启mha进程

6.VIP应用透明(master_ip_failover)

　　实际应用中，如果MHA成功完成了Mysql的主从的切换，但由于切换前后主从IP发生了变更，需要需改连接信息来适配新环境，这个过程在线业务会受到影响，一般有三种方法来解决这个问题，第一种方式是通过keepalived来管理vip，即通过对浮动IP的管理来解决IP的改变，第二中是通过自定义脚本方式，自动迁移VIP，原理和第一种类似，第三种方式采用Mysql中间件，即应用和后端Mysql环境之前，增加中间件，从而通过中间件来‘感知’后端环境的变化

　　这里主要介绍第二种通过自定义脚本的方式实现VIP漂移

　　第一步：这里是master_ip_failover脚本修改后的一部分:　

###这个ip地址一定是可以访问的，在虚拟机中可以在相应的网段中找出一个没有使用的即可，但是如果是ECS服务器则不能使用VIP，就不能搭建透明代理
my $vip = '192.168.31.200/24';     
my $key = '0';
my $ssh_start_vip = "/sbin/ifconfig eth0:$key $vip";
my $ssh_stop_vip = "/sbin/ifconfig eth0:$key down";

　  第二步：到master节点上配置：ifconfig  eth0:0 192.168.31.200/24 　　　

　  第三步:  重启MHA进程　

　　

7.binlog-server配置

　　主库宕机，也许会造成主库binlog复制不及时而导致数据丢失的情况出现，因此配置binlog-server进行时时同步备份，是必要的一种安全手段。　　　　

　　1.修改mha配置文件　

vim /etc/mha/mha1.cnf
在最后添加模块
[binlog1]           #添加binlog模块
no_master=1         #不允许切换为主
hostname=192.168.50.152       #本地IP
master_binlog_dir=/data/binlogserver/       #binlog存放位置优先级比全局的高

　　2.拉取主库上的binlog日志到mysql-db03的存放目录里　　

mkdir -p /data/mysql/binlog    #创建存放目录
cd /data/mysql/binlog/ #进入存放目录
mysqlbinlog -R --host=192.168.50.149 --user=mha --password=123456 --raw --stop-never mysql-bin.000001 &     #拉取主库binlog 主库IP  注意binlog日志名称

ll　　　　　　#查看是否拉取了binlog

ps -ef | grep mysqlbinlog | grep -v grep　　#查看拉取进程

#启动mha进程
nohup masterha_manager --conf=/etc/mha/mha1.cnf --remove_dead_master_conf --ignore_last_failover < /dev/null > /var/log/mha/mha1/manager.log 2>&1 &　　　　

#查看mha进程
ps -ef | grep perl | grep -v grep　　　　　　　

8.附录

　　1.app1.conf配置　

[server default]
manager_log=/etc/mha/log/app1.log
manager_workdir=/etc/mha/app1/
master_binlog_dir=/data/mysql3306
master_ip_failover_script=/etc/mha/master_ip_failover
master_ip_online_change_script=/etc/mha/master_ip_online_change
ping_interval=1
remote_workdir=/tmp
secondary_check_script=/bin/masterha_secondary_check -s ip235 -s ip236 --user=root --master_host=ip230 --master_ip=192.168.0.230 --master_port=3306
ssh_user=root
user=mha
password=mha
repl_password=repl
repl_user=repl
#report_script=/usr/local/send_report ##告警脚本,可自行修改，这里没有使用
#设置故障发生后关闭故障主机的脚本(主要作用是关闭主机防止发生脑裂，这里没有使用，类似Fence功能)
#shutdown_script="/usr/local/bin/power_manager --command=stopssh2 --host=test-1 --ssh_user=root"
[server1]
hostname=192.168.0.230
port=3306
[server2]
candidate_master=1
check_repl_delay=0
hostname=192.168.0.235
port=3306
[server3]
hostname=192.168.0.236
port=3306

　　2.配置解释　

manager_log=/etc/mha/log/app1.log  #日志位置
manager_workdir=/etc/mha/app1/  # MHA工作目录
master_binlog_dir=/data/mysql3306  #设置Master保存binlog位置的目录
master_ip_failover_script=/etc/mha/master_ip_failover #自动Failover脚本
master_ip_online_change_script=/etc/mha/master_ip_online_change #设置手动切换脚本
ping_interval=1  #设置监控主库的间隔
remote_workdir=/tmp  #binlog临时保存目录
secondary_check_script=/bin/masterha_secondary_check -s ip235 -s ip236 --user=root --master_host=ip230 --master_ip=192.168.0.230 --master_port=3306 #检查存活脚本
ssh_user=root #ssh登录名
user=mha  #MHA监控所有MySQL节点的用户名
password=mha  #MHA监控所有MySQL节点的密码
repl_user=repl #MySQL复制的用户名
repl_password=repl #MySQL复制的密码# 告警脚本，可自行修改，这里没有使用 #report_script=/usr/local/send_report
[server2]
candidate_master=1  #候选主库
check_repl_delay=0  #忽略延迟大小
hostname=192.168.0.235

　　3.master_ip_failover脚本　

#!/usr/bin/env perl

use strict;
use warnings FATAL => 'all';

use Getopt::Long;

my (
    $command,          $ssh_user,        $orig_master_host, $orig_master_ip,
    $orig_master_port, $new_master_host, $new_master_ip,    $new_master_port
);

my $vip = '192.168.0.20/24';
my $key = 'wvip';
my $ssh_start_vip = "/sbin/ifconfig eth0:$key $vip";
my $ssh_stop_vip = "/sbin/ifconfig eth0:$key down";

GetOptions(
    'command=s'          => $command,
    'ssh_user=s'         => $ssh_user,
    'orig_master_host=s' => $orig_master_host,
    'orig_master_ip=s'   => $orig_master_ip,
    'orig_master_port=i' => $orig_master_port,
    'new_master_host=s'  => $new_master_host,
    'new_master_ip=s'    => $new_master_ip,
    'new_master_port=i'  => $new_master_port,
);

exit &main();

sub main {

    print "

IN SCRIPT TEST====$ssh_stop_vip==$ssh_start_vip===

";

    if ( $command eq "stop" || $command eq "stopssh" ) {

        my $exit_code = 1;
        eval {
            print "Disabling the VIP on old master: $orig_master_host 
";
            &stop_vip();
            $exit_code = 0;
        };
        if ($@) {
            warn "Got Error: $@
";
            exit $exit_code;
        }
        exit $exit_code;
    }
    elsif ( $command eq "start" ) {

        my $exit_code = 10;
        eval {
            print "Enabling the VIP - $vip on the new master - $new_master_host 
";
            &start_vip();
            $exit_code = 0;
        };
        if ($@) {
            warn $@;
            exit $exit_code;
        }
        exit $exit_code;
    }
    elsif ( $command eq "status" ) {
        print "Checking the Status of the script.. OK 
";
        exit 0;
    }
    else {
        &usage();
        exit 1;
    }
}

sub start_vip() {
    `ssh $ssh_user@$new_master_host " $ssh_start_vip "`;
}
sub stop_vip() {
     return 0  unless  ($ssh_user);
    `ssh $ssh_user@$orig_master_host " $ssh_stop_vip "`;
}

sub usage {
    print
    "Usage: master_ip_failover --command=start|stop|stopssh|status --orig_master_host=host --orig_master_ip=ip --orig_master_port=port --new_master_host=host --new_master_ip=ip --new_master_port=port
";
}

　　4.master_ip_online_change脚本

#!/usr/bin/env perl  
use strict;  
use warnings FATAL =>'all';  
  
use Getopt::Long;  
  
my $vip = '192.168.0.20/24';  # Virtual IP  
my $key = "wvip";  
my $ssh_start_vip = "/sbin/ifconfig eth0:$key $vip";  
my $ssh_stop_vip = "/sbin/ifconfig eth0:$key down";  
my $exit_code = 0;  
my $orig_master_ssh_user='root';  
my $new_master_ssh_user='root';

my (  
  $command,              $orig_master_is_new_slave, $orig_master_host,  
  $orig_master_ip,       $orig_master_port,         $orig_master_user,  
  $orig_master_password,      $new_master_host,  
  $new_master_ip,        $new_master_port,          $new_master_user,  
  $new_master_password,   
);  
GetOptions(  
  'command=s'                => $command,  
  'orig_master_is_new_slave' => $orig_master_is_new_slave,  
  'orig_master_host=s'       => $orig_master_host,  
  'orig_master_ip=s'         => $orig_master_ip,  
  'orig_master_port=i'       => $orig_master_port,  
  'orig_master_user=s'       => $orig_master_user,  
  'orig_master_password=s'   => $orig_master_password,  
  'orig_master_ssh_user=s'   => $orig_master_ssh_user,  
  'new_master_host=s'        => $new_master_host,  
  'new_master_ip=s'          => $new_master_ip,  
  'new_master_port=i'        => $new_master_port,  
  'new_master_user=s'        => $new_master_user,  
  'new_master_password=s'    => $new_master_password,  
  'new_master_ssh_user=s'    => $new_master_ssh_user,  
);  
  
  
exit &main();  
  
sub main {  
  
#print "

IN SCRIPT TEST====$ssh_stop_vip==$ssh_start_vip===

";  
  
if ( $command eq "stop" || $command eq "stopssh" ) {  
  
        # $orig_master_host, $orig_master_ip, $orig_master_port are passed.  
        # If you manage master ip address at global catalog database,  
        # invalidate orig_master_ip here.  
        my $exit_code = 1;  
        eval {  
            print "


***************************************************************
";  
            print "Disabling the VIP - $vip on old master: $orig_master_host
";  
            print "***************************************************************



";  
&stop_vip();  
            $exit_code = 0;  
        };  
        if ($@) {  
            warn "Got Error: $@
";  
            exit $exit_code;  
        }  
        exit $exit_code;  
}  
elsif ( $command eq "start" ) {  
  
        # all arguments are passed.  
        # If you manage master ip address at global catalog database,  
        # activate new_master_ip here.  
        # You can also grant write access (create user, set read_only=0, etc) here.  
my $exit_code = 10;  
        eval {  
            print "


***************************************************************
";  
            print "Enabling the VIP - $vip on new master: $new_master_host 
";  
            print "***************************************************************



";  
&start_vip();  
            $exit_code = 0;  
        };  
        if ($@) {  
            warn $@;  
            exit $exit_code;  
        }  
        exit $exit_code;  
}  
elsif ( $command eq "status" ) {  
        print "Checking the Status of the script.. OK 
";  
        `ssh $orig_master_ssh_user@$orig_master_host " $ssh_start_vip "`;  
        exit 0;  
}  
else {  
&usage();  
        exit 1;  
}  
}  
  
# A simple system call that enable the VIP on the new master  
sub start_vip() {  
`ssh $new_master_ssh_user@$new_master_host " $ssh_start_vip "`;  
}  
# A simple system call that disable the VIP on the old_master  
sub stop_vip() {  
`ssh $orig_master_ssh_user@$orig_master_host " $ssh_stop_vip "`;  
}  
  
sub usage {  
print  
"Usage: master_ip_failover –command=start|stop|stopssh|status –orig_master_host=host –orig_master_ip=ip –orig_master_port=po  
rt –new_master_host=host –new_master_ip=ip –new_master_port=port
";  
}

参考文章：https://www.cnblogs.com/ywrj/p/9443215.html

　　　　　https://blog.csdn.net/leshami/article/details/45165929

　　　　　https://blog.csdn.net/zd2931516196/article/details/82693229   (邮件告警)

　　　　　https://blog.csdn.net/shm19990131/article/details/107428560  （邮件告警）