MySQL 主从配置

MySQL 主从配置

为什么要做主从复制

1. 在业务复杂的系统中，有这么一个情景，有一句sql语句需要锁表，导致暂时不能使用读的服务，那么就很影响运行中的业务。使用主从复制，让主库负责写，从库负责读，这样，即使主库出现了锁表的情景，通过读从库也可以保证业务的正常运作

2. 做数据的热备

3. 架构的扩展，业务量越来越大，I/o访问频率过高，单机无法满足，此时做多库的存储，降低磁盘I/O访问的频率，提高单个机器的I/O性能

mysql主从复制的原理是什么？

1. binlog：binlog log ，主库中保存所有更新事件日志的二进制文件

2. 主从复制的基础是主库记录数据库的所有变更记录到binlog，binlog是数据库服务器启动的那一刻起，保存所有修改数据库结构或内容的一个文件

3. mysql 主从复制是一个异步的复制过程，主库发送更新事件到从库，从库读取更新记录，并执行更新记录，使得从库的内容与主库保存一致

4. 在主库里，只要有更新事件出现，就会被依次的写入到binlog里面，之后推到从库中作为从库进行复制的数据源

binlog输出线程

1. 每当有从库连接到主库的时候。主库都会创建一个线程然后发送binlog内容到从库，对于每一个即将发送给从库的sql事件，binlog输出线程会将其锁住，一旦该事件被线程读取完之后。该锁会被释放，即使在该事件完全发送到从库的时候，该锁也会被释放

2. 在从库里，当复制开始的时候，从库就会创建两个线程进行处理

---

从库I/O线程

1. 当START SLAVE 语句在从库开始执行之后，从库创建一个I/O线程，该线程连接到主库并请求主库发送；binlog里面的更新记录到从库上。从库I/O线程读取主库的binlog输出线程发送的更新并拷贝这些更新到本地文件，其中包括relay log 文件

从库的SQL线程

1. 从库创建一个SQL线程，这个线程读取从库I/O线程写到relay log 的更新事件并执行，可以知道，对于每一个主从复制的连接，都有三个线程。拥有多个从库的主库为每一个连接到主库的从库创建一个binlog输出线程，每一个从库都有他自己的I/O线程和SQL线程

2. 从库通过创建两个独立的线程，使得在进行复制时，从库的读和写进行了分离，因此，即使负责执行的线程运行较慢，负责读取更新语句的线程并不会因此变得缓慢，比如说，如果从库有一段时间没运行了，当他在启动的时候，尽管他的SQL线程执行比较缓慢。它的I/O线程可以快速的从主库读取所有的binlog内容，这样一来，即使从库在SQL线程执行完所有读取到的语句前停止运行了，I/O线程也至少完全读取了所有的内容，并将安全的备份在从主库本地的relay log 随时准备在从库下一次启动的时候执行语句

---

整个主从复制的流程可以通过以下图示理解：

1. 主库db的更新事件（update，insert，delete）被写道bilog

2. 从库发起连接，连接到主库

3. 此时主库创建一个binlog dump thread 把binlog的内容发送到从库

4. 从库启动之后，创建一个I/O线程，读取主库传过来的binlog内容并写入到relay log

5. 还会创建一个SQL线程，从relay log 里面读取内容，从 Rxec_Master_Log_Pos位置开始执行读取到的更新事件，将更新内容写入到slave的db

注：上面的解释是解释每一步做了什么，整个mysql主从复制是异步的，不是按照上面的步骤执行的

Django 主从设置

配置Django实现数据库读写分离

1. django 在进行数据库操作的时候，读取数据与写数据（增、删、改）可以分别从不同的数据库进行操作

---

在配置文件中增加slave数据库的配置

创建数据库操作的路由分发类

2. 在syl/utils中创建db_router.py

配置读写分离路由

3. 在配置文件中增加

　　　　DATABASE_ROUTERS=["meiduo_mall.utils.db_router.MasterSlaveDBRouter"]

MySQL - 基于Docker 的主从复制

搭建环境

ubuntu 18.04 64位

 

MySQL 5.7.31

 

Docker 版本如下图

主从同步尽量保证多台MySQL的版本相同或相近

1. 拉取mysql 镜像

   1. 　　docker pull mysql:5.7.31

　　  2. 基于下载的镜像启动两个容器，默认启动的用户名是 root

　　　　　　启动第一个
　　　　　　　　docker run -p 3307:3306 --name mastermysql -e MYSQL_ROOT_PASSWORD=123456 -d mysql:5.7.31

　　　　　　启动第二个，两个mysql的端口不要一样
　　　　　　　　docker run -p 3308:3306 --name secondmysql -e MYSQL_ROOT_PASSWORD=123456 -d mysql:5.7.31

　　配置主动

1. 1. 配置主库

      1. 进入第一个mysql容器

      2. docker exec -it mastermysql /bin/bash

         # 进入容器后安装vim编辑器，这是为了修改配置文件安装编辑器

         apt-get update
         apt-get install vim

         # 连接mysql数据库, 并输入密码
         mysql -u root -h localhost -p

         # 创建一个叫backup的用户，并且不显示来源地址
         CREATE USER 'backup'@'%' IDENTIFIED BY '123456';

         # 授权找个用户具有复制同步权限
         GRANT REPLICATION SLAVE ON *.* TO 'backup'@'%';

         # 刷新权限,一定要刷新权限
         flush privileges;

         # 执行如下语句验证是否授权成功，如果没问题得到下图所示
         show grants for 'backup'@'%';

      3. 

　　　　　　2. 修改第一个mysql容器的配置文件

　　　　　　　　　　

　　　　　　　　　　切换到配置文件目录
　　　　　　　　　　　　cd /etc/mysql/mysql.conf.d/

　　　　　　　　　　修改并编辑mysql.cnf
　　　　　　　　　　　　vim mysql.cnf

　　　　　　　　　　修改或添加如下,并保存
　　　　　　　　　　　　[mysqld]
　　　　　　　　　　　　log-bin=mysql-bin #开启二进制日志
　　　　　　　　　　　　server-id=1 #设置server-id，不要和slave重复

　　　　　　　　　　记得重启容器
　　　　　　　　　　　　docker restart mastermysql

　　1. 配从容器

1. 1. 　　进入从容器并修改配置文件

   2. docker exec -it secondmysql /bin/bash

      进入容器后安装vim编辑器，这是为了修改配置文件安装编辑器
      apt-get update
      apt-get install vim

      切换到配置文件目录
      cd /etc/mysql/mysql.conf.d/

      修改并编辑mysql.cnf
      vim mysql.cnf

      修改或添加如下,并保存
      [mysqld]
      server-id=2 #设置server-id，必须唯一，不能和其他重复

      修改完成以后记得重启我们的容器
      docker restart secondmysq

　　2. 设置同步主并启动同步线程

　　　　　　设置如何同步主
　　　　　　　　mysql> CHANGE MASTER TO 
　　　　　　　　-> MASTER_HOST='192.168.106.131', 
　　　　　　　　-> MASTER_USER='backup', 
　　　　　　　　-> MASTER_PASSWORD='123456',
　　　　　　　　-> MASTER_PORT=3307;
　　　　　　启动同步线程
　　　　　　　　mysql>start slave;

　　3. 查看同步状态

　　　　　　　　mysql> show slave statusG;

　　　　　　下图 slave_IO_Running 和 Slave_SQL_Running 都为YES说明配置成功

　　　　　　Slave_IO_State: 可以作为参考说明