• MySQL的主从复制与读写分离


    摘要

    在企业应用中,成熟的业务通常数据量都比较大,单台MySQL在安全性、高可用性和高并发方面都无法满足实际的要求,

    配置多台主从数据库服务器以实现读写分离

    一、案例前置知识点分析

    1.1、MySQL主从复制原理

    1.1.1、MySQL的复制类型

    ①基于语句的复制

    ②基于行的复制

    ③混合类型的复制

    1.1.2、MySQL主从复制的工作过程

    1.2、MySQL读写分离原理

    1.2.1、只在主服务器上写,只在从服务器上读

    1.2.2、主数据库处理事务性查询,从数据库处理SELECT查询

    1.2.3、数据库复制用于将是事务性查询的变更同步到集群中的从数据库

    1.2.4、读写分离方案

    ①基于程序代码内部实现

    ②基于中间代理层实现

    MySQL-Proxy

    Amoeba

    1.3、复制的基本过程如下

    ①Master将用户对数据库更新的操作以二进制格式保存到Binary Log日志文件中;

    ②Slave上面的IO进程连接上Master,并请求从指定日志文件的指定位置(或者从最开始的日志)之后的日志内容;

    ③Master接收到来自Slave的IO进程的请求后,通过负责复制的IO进程根据请求信息读取指定日志指定位置之后的日志信息,返回给Slave的IO进程。返回信息中除了日志所包含的信息之外,还包括本次返回的信息已经到Master端的bin-log文件的名称以及bin-log的位置;

    ④Slave的IO进程接收到信息后,将接收到的日志内容依次添加到Slave端的relay-log文件的最末端,并将读取到的Master端的bin-log的文件名和位置记录到master-info文件中,以便在下一次读取的时候能够清楚地告诉Master“我需要从某个bin-log的哪个位置开始往后的日志内容,请发给我”;

    ⑤Slave的Sql进程检测到relay-log中新增加了内容后,会马上解析relay-log的内容成为在Master端真实执行时候的那些可执行的内容,并在自身执行

    二、案例拓扑图

    三、案例实施主从复制

    3.1、MySQL(主)

    3.1.1、配置NTP服务器

     1 yum -y install ntp ntpdate
     2 ntpdate ntp.aliyun.com
     3 date
     4 which ntpdate
     5 crontab -e
     6 */30 * * * * /usr/sbin/ntpdate ntp.aliyun.com
     7  vi /etc/ntp.conf 
     8 restrict 20.0.0.0 mask 255.255.255.0 nomodify notrap  #17行修改
     9 21-24行删除
    10 server 127.127.1.0            #在删除的位置添加
    11 fudge 127.127.1.0 stratum 8
    12 systemctl start ntpd
    13 systemctl enable ntpd
    14 systemctl start crond
    15 systemctl enable crond
    16 crontab -l #查看任务计划

    3.1.2、手工编译安装MySQL(之前的博客上有关于MySQL的具体安装步骤)

    3.1.3、配置master主服务器的MySQL

     1 vi /etc/my.cnf
     2 server-id = 1
     3 log_bin=master_bin            #在server-id下面添加两行
     4 log_slave_updates=true
     5 systemctl restart mysqld.service
     6 mysql -u root -p123456
     7 mysql> grant replication slave on *.* to 'myslave'@'20.0.0.%' identified by 'abc123';
     8 mysql> show grants for 'myslave'@'20.0.0.%';
     9 mysql> flush privileges;
    10 mysql> show master status;         #查完要记住position列的值

    3.2、MySQL2(从)

    3.2.1、配置时间同步

     1 yum -y install ntp ntpdate
     2 ntpdate 20.0.0.10
     3 date
     4 which ntpdate
     5 crontab -e
     6 */30 * * * * /usr/sbin/ntpdate 20.0.0.10
     7 systemctl start ntpd
     8 systemctl enable ntpd
     9 systemctl start crond
    10 systemctl enable crond
    11 crontab -l #查看任务计划

    3.2.2、配置MySQL从服务器

     1 vi /etc/my.cnf
     2 server-id = 2
     3 relay_log=relay-log-bin               #添加日志
     4 relay_log_index=slave-relay-bin.index
     5 systemctl restart mysqld
     6 mysql -uroot -p123456
     7 mysql> change master to master_host='20.0.0.10',master_user='myslave',master_password='abc123',master_log_file='master_bin.000002',master_log_pos=154;
     8 mysql> start slave;
     9 mysql> show slave status G;
    10              ......
    11              Slave_IO_Running: Yes
    12              Slave_SQL_Running: Yes
    13 ##如果显示NO,①主服务器数据库更新重启一下,再进入数据库,打show master status;记录日志和Position值②再在从服务器上打mysql> change master to master_host='20.0.0.10',master_user='myslave',master_password='abc123',master_log_file='master_bin.000002',master_log_pos=154;
    1 I/O线程显示为NO: 主库与从库网络不通、主库未授权给从库
    2 SQL线程显示为NO:从库日志和位置点与主不同步
    3 若从库查看连接主库I/0线程状态为conneting,一直是这个状态,考虑双方的防火墙是否开启。

    3.3、MySQL3(从)

    3.3.1、配置时间同步

     1 yum -y install ntp ntpdate
     2 ntpdate 20.0.0.10
     3 date
     4 which ntpdate
     5 crontab -e
     6 */30 * * * * /usr/sbin/ntpdate 20.0.0.10
     7 systemctl start ntpd
     8 systemctl enable ntpd
     9 systemctl start crond 
    10 systemctl enable crond
    11 crontab -l   #查看任务计划

    3.2.2、配置MySQL从服务器

     1  vi /etc/my.cnf
     2  server-id = 3
     3  relay_log=relay-log-bin               #添加日志
     4  relay_log_index=slave-relay-bin.index
     5  systemctl restart mysqld
     6  mysql -uroot -p123456
     7  mysql> change master to master_host='20.0.0.10',master_user='myslave',master_password='abc123',master_log_file='master_bin.000002',master_log_pos=154;
     8  mysql> start slave;
     9  mysql> show slave status G;
    10              ......
    11               Slave_IO_Running: Yes
    12               Slave_SQL_Running: Yes
    13 ##如果显示NO,①主服务器数据库更新重启一下,再进入数据库,打show master status;记录日志和Position值②再在从服务器上打mysql> change master to master_host='20.0.0.10',master_user='myslave',master_password='abc123',master_log_file='master_bin.000002',master_log_pos=154;

    3.4、测试

    3.4.1、MySQL(主)服务器上创建一个数据库

    1 mysql -u root -p123456
    2 mysql> create database abc;
    3 mysql> show databases;

    3.4.2、MySQL2(从)和MySQL3(从)上查看

    1 mysql -u root -p123456
    2 mysql> show databases;

    四、案例实施读写分离

     4.1、在三台MySQL数据库中为amoeba授权

    1 mysql> grant all privileges on *.* to 'test'@'20.0.0.%' identified by 'abc123';
    2 mysql> show grants for test@'20.0.0.%';
    3 mysql> flush privileges;

    4.2、在amoeba服务器上安装JDK

    1 tar zxf jdk-8u91-linux-x64.tar.gz
    2 mv jdk1.8.0_91/ /usr/local/java
    3 vi /etc/profile
    4 export JAVA_HOME=/usr/local/java     #末尾添加
    5 export JRE_HOME=/usr/local/java/jre
    6 export AMOEBA_HOME=/usr/local/amoeba
    7 export PATH=$PATH:$JAVA_HOME/bin:$AMOEBA_HOME/bin
    8 source /etc/profile
    9 java -version

    4.3、在amoeba服务器上安装amoeba

    1 unzip amoeba-mysql-3.0.5-RC-distribution.zip 
    2 mv amoeba-mysql-3.0.5-RC /usr/local/amoeba
    3 chmod -R 755 /usr/local/amoeba/
    4 vi /usr/local/amoeba/jvm.properties 
    5 #JVM_OPTIONS="-server -Xms256m -Xmx1024m -Xss196k -XX:PermSize=16m -XX:MaxPerSize=96m"                #32行添加
    6 JVM_OPTIONS="-server -Xms1024m -Xmx1024m -Xss256k"
    7 cd /usr/local/amoeba/bin/
    8 launcher
    9 netstat -anpt | grep 8066

    4.4、修改amoeba配置文件

     1 vi /usr/local/amoeba/conf/amoeba.xml
     2 <property name="user">test</property>   #28行修改
     3 <property name="password">123456</property>          #30行修改
     4 ......
     5 </property>
     6 <property name="sqlFunctionFile">${amoeba.home}/conf/functionMap.xml</property>
     7 <property name="LRUMapSize">1500</property>
     8 <property name="defaultPool">master</property>     #修改
     9 <property name="writePool">master</property>       #修改
    10 <property name="readPool">slaves</property>          #修改
    11 <property name="needParse">true</property>
    12 </queryRouter>
    13 vi /usr/local/amoeba/conf/dbServers.xml 
    14 ......
    15 <property name="user">test</property>     #26行修改
    16 <property name="password">abc123</property>     #28行修改
    17  ......
    18          <dbServer name="master"  parent="abstractServer">    #修改部分参数
    19                  <factoryConfig>
    20                          <!-- mysql ip -->
    21                          <property name="ipAddress">20.0.0.10</property>
    22                  </factoryConfig>
    23          </dbServer>
    24  
    25          <dbServer name="slave1"  parent="abstractServer">
    26                  <factoryConfig>
    27                <!-- mysql ip -->
    28                          <property name="ipAddress">20.0.0.20</property>
    29                  </factoryConfig>
    30          </dbServer>
    31  
    32          <dbServer name="slave2"  parent="abstractServer">
    33                  <factoryConfig>
    34                          <!-- mysql ip -->
    35                          <property name="ipAddress">20.0.0.30</property>
    36                  </factoryConfig>
    37          </dbServer>
    38  
    39  
    40         <dbServer name="slaves" virtual="true">
    41                <poolConfig class="com.meidusa.amoeba.server.MultipleServerPool">
    42                          <!-- Load balancing strategy: 1=ROUNDROBIN , 2=WEIGHTBASED , 3=HA-->
    43                          <property name="loadbalance">1</property>
    44  
    45                         <!-- Separated by commas,such as: server1,server2,server1 -->
    46                          <property name="poolNames">slave1,slave2</property>
    47                </poolConfig>
    48         </dbServer>
    49 cd /usr/local/amoeba/bin/
    50 shutdown 51 launcher

    4.5、在客户机上测试

    1 yum -y install mariadb*
    2 systemctl start mariadb
    3 netstat -anpt | grep 3306    
    4 mysql -utest -p123456 -h 20.0.0.40 -P 8066

    4.6、测试

    4.6.1、在master新建库和表

    1 mysql> create database test;
    2 mysql> use test;
    3 mysql> create table abc(id int(2) not null primary key, name varchar(48), score char(48));
    4 mysql> show tables;

    4.6.2、在两台从服务器上看是否有库及表生成

    1 mysql> show databases;
    2 mysql> use test;
    3 mysql> show tables;
    4 mysql> select * from abc;

    4.6.3、在两台从服务器上停止服务

    1 mysql> stop slave;

    4.6.4、在主服务上插入内容不会同步(通过amoeba操作)

    主服务器

    1 mysql> insert into abc values(2,'lisi',89);

    从服务器

    1 mysql> select * from abc;

    4.6.5、在从服务器1上直接插入内容

    1 mysql> insert into abc values(3,'wangwu',60);
    2 mysql> select * from abc;

    4.6.6、在从服务器2上直接插入内容

    1 mysql> insert into abc values(4,'bb',68);
    2 mysql> select * from abc;

    4.6.7、在客户端上测试(第一次向从服务器1读数据,第二次向从服务器2读数据)

    1 MySQL [test]> select * from abc;
    2 MySQL [test]> select * from abc;

    4.6.8、在通过客户端连接数据库后写入的数据只有主会记录,然后同步给从-从服务器,从而实现读写分离

    1 MySQL [test]> insert into abc values(5,'cc',90);        #客户机
    2 mysql> select * from abc;                          #主
    3 mysql> select * from abc;                          #从1
    4 mysql> select * from abc;                          #从2

    4.6.9、在客户端上看不到新插入的数据,因为同步没有开启,只有主服务器上可以看到数据

    1 MySQL [test]> select * from abc;
    2 MySQL [test]> select * from abc;

    4.6.10、在开启同步后,主服务器上的数据会同步到各从服务器上中,但从服务器上的自己增加的数据不会同步,只有本地保存

    1 #从1
    2 mysql> start slave;       
    3 mysql> select * from abc;
    4 #从2
    5 mysql> start slave;       
    6 mysql> select * from abc;
    7 客户端:
    8 MySQL [test]> select * from abc;
  • 相关阅读:
    轨迹预测-运动递归函数
    Mandelbrot集合及其渲染
    如何检测一个圆在多个圆内?
    【转】三十分钟掌握STL
    【转】如何理解c和c++的复杂类型声明
    有1,2,3一直到n的无序数组,排序
    归并排序
    希尔排序
    快速排序
    冒泡排序
  • 原文地址:https://www.cnblogs.com/xuhao0705/p/13879538.html
Copyright © 2020-2023  润新知