• MHA-MySQL高可用集群


     一,mysql-mha环境准备

    1.1 实验环境:

    主机名IP地址(NAT)描述
    mysql-db01 eth0:192.168.0.51 系统:CentOS6.5(6.x都可以) 安装:mysql5.6
    mysql-db02 eth0:192.168.0.52 系统:CentOS6.5(6.x都可以) 安装:mysql5.6
    mysql-db03 eth0:192.168.0.53 系统:CentOS6.5(6.x都可以) 安装:mysql5.6

     

     

     

    1.2 软件包

    1) mha管理节点安装包:

    mha4mysql-manager-0.56-0.el6.noarch.rpm

    mha4mysql-manager-0.56.tar.gz

    2) mha node节点安装包:

    mha4mysql-node-0.56-0.el6.noarch.rpm

    mha4mysql-node-0.56.tar.gz

    3) mysql中间件:

    Atlas-2.2.1.el6.x86_64.rpm

    4) mysql源码安装包

    mysql-5.6.17-linux-glibc2.5-x86_64.tar

    1.3 主机名映射

    1.4 关闭selinux和iptables

    二,简介

    2.1软件简介

    • MHA(Master High Availability)目前在MySQL高可用方面是一个相对成熟的解决方案,是一套优秀的作为MySQL高可用性环境下故障切换和主从提升的高可用软件。在MySQL故障切换过程中,MHA能做到0~30秒之内自动完成数据库的故障切换操作,并且在进行故障切换过程中,MHA能最大程度上保证数据库的一致性,以达到真正意义上的高可用。
    • MHA由两部分组成:MHA Manager(管理节点)和MHA Node(数据节点)。MHA Manager可以独立部署在一台独立的机器上管理多个Master-Slave集群,也可以部署在一台Slave上。当Master出现故障时,它可以自动将最新数据的Slave提升为新的Master,然后将所有其他的Slave重新指向新的Master。整个故障转移过程对应程序是完全透明的。

    2.2 工作流程

    • 从宕机崩溃的master保存二进制日志事件(binlog events);
    • 识别含有最新更新的slave;
    • 应用差异的中继日志(relay log)到其他的slave;
    • 应用从master保存的二进制日志事件(binlog events);
    • 提升一个slave为新的master;
    • 使其他的slave连接新的master进行复制;

    2.3 MHA架构图

    2.5 MHA工具介绍

    MHA软件由两部分组成,Manager工具包和Node工具包,具体的说明如下:

     1     #Manager工具包主要包括以下几个工具:
     2     masterha_check_ssh          #检查MHA的SSH配置状况
     3     masterha_check_repl         #检查MySQL复制状况
     4     masterha_check_status       #检测当前MHA运行状态
     5     masterha_master_monitor     #检测master是否宕机
     6     masterha_manger             #启动MHA
     7     masterha_master_switch      #控制故障转移(自动或者手动)
     8     masterha_conf_host          #添加或删除配置的server信息
     9     masterha_secondary_check    #试图建立TCP连接从远程服务器
    10     masterha_stop               #停止MHA
    11     #Node工具包主要包括以下几个工具:
    12     save_binary_logs            #保存和复制master的二进制日志
    13     apply_diff_relay_logs       #识别差异的中继日志事件
    14     filter_mysqlbinlog          #去除不必要的ROLLBACK事件
    15     purge_relay_logs            #清除中继日

    三,mysql环境准备

    3.1安装mysql

    3.2 安装(3台都装)

     1     [root@zhengweiqiang ~]# yum -y install ncurses-devel
     2     [root@zhengweiqiang ~]# yum -y install libaio
     3     [root@zhengweiqiang ~]# tar xf mysql-5.6.17-linux-glibc2.5-x86_64.tar.gz -C /usr/local/
     4     [root@zhengweiqiang ~]# ln -s /usr/local/mysql-5.6.17-linux-glibc2.5-x86_64 /usr/local/mysql
     5     [root@zhengweiqiang ~]# useradd mysql -s /sbin/nologin -M
     6     [root@zhengweiqiang~]# /usr/local/mysql/scripts/mysql_install_db --user=mysql --basedir=/usr/local/mysql --datadir=/usr/local/mysql/data/
     7     [root@zhengweiqiang ~]# /bin/cp /usr/local/mysql/support-files/my-default.cnf /etc/my.cnf
     8     [root@zhengweiqiang ~]# /bin/cp /usr/local/mysql/support-files/mysql.server /etc/init.d/mysqld
     9     [root@zhengweiqiang ~]# ln -s /usr/local/mysql/bin/* /usr/local/bin/
    10     [root@zhengweiqiang~]# which mysqladmin
    11     /usr/local/bin/mysqladmin

    3.2.2 配置密码

    mysqladmin -uroot password '123123'

    四,配置基于GTID的主从复制

    4.1 先决条件

    • 主库和从库都要开启binlog
    • 主库和从库server-id不同
    • 要有主从复制用户.

    4.2 主库操作(mysql-db01)

    修改配置文件

     重启

     4.2.2 登陆MySQL删除不必要的用户并创建主从复制用户

    创建主从复制用户

     

    4.3 从库操作(mysql-db02和mysql-db03)

     1     #修改mysql-db02配置文件(和mysql-db01配置文件一致)
     2     #只需要修改server-id = 5选项
     3     [root@mysql-db02 ~]# cat /etc/my.cnf 
     4     [client]
     5     socket          = /usr/local/mysql/data/mysql.sock
     6     [mysqld]
     7     lower_case_table_names  = 1
     8     default-storage-engine  = InnoDB
     9     port            = 3306
    10     datadir         = /usr/local/mysql/data
    11     character-set-server    = utf8
    12     socket          = /usr/local/mysql/data/mysql.sock
    13     log_bin         = mysql-bin         #从binlog也要打开
    14     server_id       = 5                 #仅需修改此项
    15     innodb_buffer_pool_size = 200M
    16     slave-parallel-workers  = 8
    17     thread_cache_size   = 600
    18     back_log        = 600
    19     slave_net_timeout   = 60
    20     max_binlog_size     = 512M
    21     key_buffer_size     = 8M
    22     query_cache_size    = 64M
    23     join_buffer_size    = 2M
    24     sort_buffer_size    = 2M
    25     query_cache_type    = 1
    26     thread_stack        = 192K
    27     [root@mysql-db02 ~]# /etc/init.d/mysqld restart #重启mysql
    28     Shutting down MySQL.. SUCCESS! 
    29     Starting MySQL. SUCCESS!
    30     #修改mysql-db03配置文件(和mysql-db01配置文件一致)
    31     #只需要修改server-id = 10选项
    32     [root@mysql-db03 ~]# cat /etc/my.cnf
    33     [client]
    34     socket          = /usr/local/mysql/data/mysql.sock
    35     [mysqld]
    36     lower_case_table_names  = 1
    37     default-storage-engine  = InnoDB
    38     port            = 3306
    39     datadir         = /usr/local/mysql/data
    40     character-set-server    = utf8
    41     socket          = /usr/local/mysql/data/mysql.sock
    42     log_bin         = mysql-bin     #从binlog也要打开
    43     server_id       = 10            #只需修改此项
    44     innodb_buffer_pool_size = 200M
    45     slave-parallel-workers  = 8
    46     thread_cache_size   = 600
    47     back_log        = 600
    48     slave_net_timeout   = 60
    49     max_binlog_size     = 512M
    50     key_buffer_size     = 8M
    51     query_cache_size    = 64M
    52     join_buffer_size    = 2M
    53     sort_buffer_size    = 2M
    54     query_cache_type    = 1
    55     thread_stack        = 192K
    56     [root@mysql-db03 ~]# /etc/init.d/mysqld restart #重启mysql
    57     Shutting down MySQL.. SUCCESS! 
    58     Starting MySQL. SUCCESS! 

    特别提示:
    在以往如果是基于binlog日志的主从复制,则必须要记住主库的master状态信息。

     4.4开启GTID

     

     

    mysql-db01,mysql-db02,mysql-db03都需要加入上图的上行代码

     4.5从库开启

     配置主从复制

    mysql-db01,mysql-db02,mysql-db03都需要加入上图的上行代码

    从库开启

     4.6 从库设置临时禁制mysql删除relay log日志功能

    永久禁止Mysql删除relay log 日志功能

    4.7 什么是GTID

    • GTID(Global Transaction)全局事务标识符:是一个唯一的标识符,它创建并与源服务器(主)上提交的每个事务相关联。此标识符不仅对其发起的服务器是唯一的,而且在给定复制设置中的所有服务器上都是唯一的。所有交易和所有GTID之间都有1对1的映射。
    • GTID实际上是由UUID+TID组成的。其中UUID是一个MySQL实例的唯一标识。TID代表了该实例上已经提交的事务数量,并且随着事务提交单调递增。
    • 下面是一个GTID的具体形式:3E11FA47-71CA-11E1-9E33-C80AA9429562:23

    4.8 GTID的新特性

    (1)支持多线程复制:事实上是针对每个database开启相应的独立线程,即每个库有一个单独的(sql thread)

    (2)支持启用GTID,在配置主从复制,传统的方式里,你需要找到binlog和POS点,然后change master to 指向。在mysql5.6里,无须再知道binlog和POS点,只需要知道master的IP/端口/账号密码即可,因为同步复制是自动的,MySQL通过内部机制GTID自动找点同步。

    (3)基于Row复制只保存改变的列,大大节省磁盘空间,网络,内存等

    (4)支持把Master和Slave的相关信息记录在Table中;原来是记录在文件里,现在则记录在表里,增强可用性

    (5)支持延迟复制

    4.9 开启方法

    1. #mysql配置文件:
    2. [mysqld]
    3. gtid_mode=ON
    4. enforce_gtid_consistency
    5. #查看
    6. show global variables like ‘%gtid%’;

    五,部署MHA

    5.1 环境准备(所有节点mysql-db01,mysql-db02,mysql-db03)

        #光盘安装依赖包
        [root@mysql-db01 ~]# yum -y install perl-DBD-MySQL
        #安装mha4mysql-node-0.56-0.el6.noarch.rpm
        [root@mysql-db01 rpm]# rpm -ivh mha4mysql-node-0.56-0.el6.noarch.rpm 
        Preparing...                ########################################### [100%]
           1:mha4mysql-node         ########################################### [100%]
        [root@mysql-db01 ~]# mysql -uroot -p123123
        mysql> grant all privileges on *.* to mha@'192.168.0.%' identified by '123123';
        Query OK, 0 rows affected (0.00 sec)
        mysql> select user,host from mysql.user where user='mha';
        +------+-------------+
        | user | host        |
        +------+-------------+
        | mha  | 192.168.0.% |          #主库上创建从库会自动复制
        +------+-------------+
        1 row in set (0.00 sec)
        #特别提示:3台MySQL都需要安装mha4mysql-node-0.56-0.el6.noarch.rpm
    
    部署管理节点(mha-manager)
    在mysql-db03上部署管理节点
    
        #使用阿里云源+epel源
        wget -O /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-6.repo
        wget -O /etc/yum.repos.d/epel-6.repo http://mirrors.aliyun.com/repo/epel-6.repo

     5.2部署管理节点(mha-manager)

    在mysql-db03上部署管理节点

    1 #安装manager依赖包(需要公网源)
    2 [root@zhengweiqiang ~]# yum -y install perl-Config-Tiny epel-release perl-Log-Dispatch perl-Parallel-ForkManager perl-Time-HiRes

    5.2.1编辑配置文件

    配置文件

    [server default]
    manager_log=/var/log/mha/mha1/manager               #manager管理日志存放路径
    manager_workdir=/var/log/mha/mha1                   #manager管理日志的目录路径
    master_binlog_dir=/usr/local/mysql/data             #binlog日志的存放路径
    user=mha                                            #管理账户
    password=123123                                     #管理账户密码
    ping_interval=2                                     #存活检查的间隔时间
    repl_user=rep                                       #主从复制的授权账户
    repl_password=123123                                #主从复制的授权账户密码
    ssh_user=root                                       #用于ssh连接的账户
    [server1]
    hostname=192.168.0.51                               
    port=3306                                           
    [server2]
    #candidate_master=1                                 #此条暂时注释掉
    #check_repl_delay=0                                 #此条暂时注释掉
    hostname=192.168.0.52
    port=3306
    [server3]
    hostname=192.168.0.53
    port=3306
    #**特别提示:**
    #以上配置文件内容里每行的最后不要留有空格,因此,不能复制的呦

     特别说明:
    参数:candidate_master=1
    解释:设置为候选master,如果设置该参数以后,发生主从切换以后会将此从库提升为主库,即使这个主库不是集群中事件最新的slave
    参数:check_repl_delay=0
    解释:默认情况下如果一个slave落后master 100M的relay logs 的话,MHA将不会选择该slave作为一个新的master,因为对于这个slave的恢复需要花费很长时间,通过设置check_repl_delay=0,MHA触发切换在选择一个新的master的时候将会忽略复制延时,这个参数对于设置了candidate_master=1的主机非常有用,因为这个候选主在切换的过程中一定是新的master

     5.3配置ssh信任(所有节点mysql-db01,mysql-db02,mysql-db03)

     1     #创建密钥对
     2     [root@zhengweiqiang ~]# ssh-keygen -t dsa -P "" -f ~/.ssh/id_dsa >/dev/null 2>&1
     3     #发送mysql-db03公钥,包括自己
     4     [root@zhengweiqiang ~]# ssh-copy-id -i /root/.ssh/id_dsa.pub root@192.168.200.128
     5     [root@zhengweiqiang ~]# ssh-copy-id -i /root/.ssh/id_dsa.pub root@192.168.200.129
     6     [root@zhengweiqiang ~]# ssh-copy-id -i /root/.ssh/id_dsa.pub root@192.168.200.130
     7     #发送mysql-db02公钥,包括自己
     8     [root@zhengweiqiang ~]# ssh-copy-id -i /root/.ssh/id_dsa.pub root@192.168.200.128
     9     [root@zhengweiqiang ~]# ssh-copy-id -i /root/.ssh/id_dsa.pub root@192.168.200.129
    10     [root@zhengweiqiang ~]# ssh-copy-id -i /root/.ssh/id_dsa.pub root@192.168.200130
    11     #发送mysql-db01公钥,包括自己
    12     [root@zhengweiqiang ~]# ssh-copy-id -i /root/.ssh/id_dsa.pub root@192.168.200.128
    13     [root@zhengweiqiang ~]# ssh-copy-id -i /root/.ssh/id_dsa.pub root@192.168.200.129
    14     [root@zhengweiqiang ~]# ssh-copy-id -i /root/.ssh/id_dsa.pub root@192.168.200.130

     5.4 启动测试

    测试SSH

     

    1 Tue Sep  5 03:01:38 2017 - [warning] Global configuration file /etc/masterha_default.cnf not found. Skipping.
    2 Tue Sep  5 03:01:38 2017 - [info] Reading application default configuration from /etc/mha/mha1.cnf..
    3 Tue Sep  5 03:01:38 2017 - [info] Reading server configuration from /etc/mha/mha1.cnf..
    4 Tue Sep  5 03:01:38 2017 - [info] Starting SSH connection tests..
    5 ..中间省略若干行..
    6 Tue Sep  5 03:01:40 2017 - [debug]  Connecting via SSH from root@192.168.0.53(192.168.0.53:22) to root@192.168.0.52(192.168.0.52:22)..
    7 Tue Sep  5 03:01:40 2017 - [debug]   ok.
    8 Tue Sep  5 03:01:40 2017 - [info] All SSH connection tests passed successfully. #出现这个就表示成功

     测试主从复制

     1 [root@zhengweiqiang ~]# masterha_check_repl --conf=/etc/mha/mha1.
     2 cnfMon Dec 17 20:57:16 2018 - [warning] Global configuration file /e
     3 tc/masterha_default.cnf not found. Skipping.Mon Dec 17 20:57:16 2018 - [info] Reading application default con
     4 figuration from /etc/mha/mha1.cnf..Mon Dec 17 20:57:16 2018 - [info] Reading server configuration fr
     5 om /etc/mha/mha1.cnf..Mon Dec 17 20:57:16 2018 - [info] MHA::MasterMonitor version 0.56
     6 .Mon Dec 17 20:57:16 2018 - [info] GTID failover mode = 1
     7 Mon Dec 17 20:57:16 2018 - [info] Dead Servers:
     8 Mon Dec 17 20:57:16 2018 - [info] Alive Servers:
     9 Mon Dec 17 20:57:16 2018 - [info]   192.168.200.128(192.168.200.1
    10 28:3306)Mon Dec 17 20:57:16 2018 - [info]   192.168.200.129(192.168.200.1
    11 29:3306)Mon Dec 17 20:57:16 2018 - [info]   192.168.200.130(192.168.200.1
    12 30:3306)Mon Dec 17 20:57:16 2018 - [info] Alive Slaves:
    13 Mon Dec 17 20:57:16 2018 - [info]   192.168.200.129(192.168.200.1
    14 29:3306)  Version=5.6.17-log (oldest major version between slaves) log-bin:enabledMon Dec 17 20:57:16 2018 - [info]     GTID ON
    15 Mon Dec 17 20:57:16 2018 - [info]     Replicating from 192.168.20
    16 0.128(192.168.200.128:3306)Mon Dec 17 20:57:16 2018 - [info]   192.168.200.130(192.168.200.1
    17 30:3306)  Version=5.6.17-log (oldest major version between slaves) log-bin:enabledMon Dec 17 20:57:16 2018 - [info]     GTID ON
    18 Mon Dec 17 20:57:16 2018 - [info]     Replicating from 192.168.20
    19 0.128(192.168.200.128:3306)Mon Dec 17 20:57:16 2018 - [info] Current Alive Master: 192.168.2
    20 00.128(192.168.200.128:3306)Mon Dec 17 20:57:16 2018 - [info] Checking slave configurations..
    21 Mon Dec 17 20:57:16 2018 - [info]  read_only=1 is not set on slav
    22 e 192.168.200.129(192.168.200.129:3306).Mon Dec 17 20:57:16 2018 - [info]  read_only=1 is not set on slav
    23 e 192.168.200.130(192.168.200.130:3306).Mon Dec 17 20:57:16 2018 - [info] Checking replication filtering 
    24 settings..Mon Dec 17 20:57:16 2018 - [info]  binlog_do_db= , binlog_ignore_
    25 db= Mon Dec 17 20:57:16 2018 - [info]  Replication filtering check ok
    26 .Mon Dec 17 20:57:16 2018 - [info] GTID (with auto-pos) is support
    27 ed. Skipping all SSH and Node package checking.Mon Dec 17 20:57:16 2018 - [info] Checking SSH publickey authenti
    28 cation settings on the current master..Mon Dec 17 20:57:16 2018 - [info] HealthCheck: SSH to 192.168.200
    29 .128 is reachable.Mon Dec 17 20:57:16 2018 - [info] 
    30 192.168.200.128(192.168.200.128:3306) (current master)
    31  +--192.168.200.129(192.168.200.129:3306)
    32  +--192.168.200.130(192.168.200.130:3306)
    33 
    34 Mon Dec 17 20:57:16 2018 - [info] Checking replication health on 
    35 192.168.200.129..Mon Dec 17 20:57:16 2018 - [info]  ok.
    36 Mon Dec 17 20:57:16 2018 - [info] Checking replication health on 
    37 192.168.200.130..Mon Dec 17 20:57:16 2018 - [info]  ok.
    38 Mon Dec 17 20:57:16 2018 - [warning] master_ip_failover_script is
    39  not defined.Mon Dec 17 20:57:16 2018 - [warning] shutdown_script is not defin
    40 ed.Mon Dec 17 20:57:16 2018 - [info] Got exit code 0 (Not master dea
    41 d).
    42 MySQL Replication Health is OK.

    5.5 启动MHA

     

  • 相关阅读:
    Spring中的@Transactional(rollbackFor = Exception.class)属性详解
    查询数据库中表数量和各表中数据量
    69道Spring面试题和答案
    Spring常见面试题总结(超详细回答)
    nginx 解决session一致性
    redis 主从同步
    如何实现一个线程安全的单例,前提是不能加锁
    InnoDB中一棵B+树能存多少行数据
    ConcurrentHashMap 源码分析
    java HashMap 源码解析
  • 原文地址:https://www.cnblogs.com/GokouRuri-zwq/p/10132064.html
Copyright © 2020-2023  润新知