MySQL主从复制原理及环境搭建(基于Docker)

一. 为什么要做主从复制 ?

1. 在业务复杂的系统中, 有这么一个场景, 有一条sql语句需要锁表, 导致暂时不能使用读的服务, 那么就很影响运行中的业务, 使用主从复制, 让主库负责写, 从库负责读. 这样即使主库出现了锁表的场景, 通过读库也可以保证业务的正常运行.
2. 做数据的热备份, 主库宕机后能够及时替换主库, 保证业务可用性.
3. 架构的扩展. 业务量越来越大, I/O访问频率过高, 单机无法满足, 此时做多库的存储, 降低磁盘I/O访问的频率, 提高单个机器的I/O性能.

二. MySQL主从复制的原理是什么 ?

• binlog: binary log, 主库中保存所有更新事件日志的二进制文件.
• 主从复制的基础是: 主库会记录数据库的所有变更记录到binlog. binlog是数据库服务器启动的那一刻起, 保存所有修改数据库结构或内容的一个文件.
• mysql主从复制是一个异步的复制过程, 主库发送更新事件到从库, 从库读取更新记录, 并执行更新记录, 使得从库的内容与主库保持一致.
• 在主库里, 只要有更新事件出现, 就会被一次写到到 binlog里面, 之后会推送到从库中, 作为从库进行复制的数据源,

binlog输出线程. 每当有从库连接到主库的时候, 主库都会创建一个线程然后发送binlog内容到从库. 对于每一个即将发送给从库的sql事件, binlog输出县城会将其锁住. 一旦该事件被线程读取完之后, 该锁会被释放, 即使在该事件完全发送到从库的时候, 该锁也会被释放.

**从库的I/O线程. **当 start slave语句在从库开始执行之后, 从库创建一个I/O线程, 该线程连接到主库并请求主库发送binlog里面的更新记录到从库上. 从库I/O线程读取主库的binlog输出线程发送的更新并拷贝这些更新到本地文件, 其中包括 relay_log文件

从库的SQL线程. 从库创建一个SQL线程, 这个线程读取从库I/O线程写到 relay_log的更新事件并执行.

可以知道, 对于一个主从复制的连接, 都有三个线程. 拥有多个从库的主库为每一个连接到主库的从库创建一个 binlog输出线程, 每一个从库都有他自己的I/O线程和SQL线程.

从库通过创建两个独立的线程, 使得在进行复制时, 从库的读和写进行了分离. 因此, 即使负责执行的线程运行较慢, 负责读取更新语句的线程并不会因此变得缓慢. 比如说, 如果从库有一段时间没运行了, 当它在启动的时候, 尽管它的SQL线程执行比较慢, 它的I/O线程可以快速地从主库里读取所有的 bin-log内容. 这样一来, 即使从库在SQL线程执行完所有读取到的语句前停止了, I/O线程也至少完全读取了所有的内容, 并将其安全地被分在本地的 relay_log, 随时准备在从库下一次启动的时候执行语句

三. MySQL主从复制的流程

整个主从复制的流程, 可以通过以下图示理解

1. 主库db的更新事件 (update, insert, delete) 被写到 binlog.
2. 从库启动, 并且发起连接, 连接到主库.
3. 主库创建一个 binlog dump thread, 把binlog的内容发送到从库.
4. 从库启动之后, 创建一个 I/O线程, 读取主库传过来的 binlog内容, 并写入 relay_log
5. 从库启动之后, 还会创建一个SQL线程, 从 relay_log 里面读取内容, 从 Exec_Master_Log_Pos位置开始执行读取到的更新事件, 将更新内容写入到 slave的 db.

四. 查看主从复制的状态

当主从复制正在进行中时, 如果想查看从库两个线程的运行状态, 可以在从库里面 show slave status命令, 以下的字段可以给到你想要的信息

      Master_Log_File: mysql-bin.000001		上一个从主库拷贝过来的 binlog文件
  Read_Master_Log_Pos: 2410  		        主库的binlog文件被拷贝到从库的 relay log中的位置
Relay_Master_Log_File: mysql-bin.000001		SQL线程当前处理中的 relay log文件
  Exec_Master_Log_Pos: 2410 			当前binlog文件正在被执行的语句的位置

五. Docker 搭建MySQL主从复制

1. 安装docker运行环境 (已安装可跳过)

2. 拉取mysql镜像

这里以 5.7.13为例, 其他版本可在 Docker Hub 中查询. docker pull mysql:5.7.13

3. 启动三个容器, 1台主库(master), 2台从库(slave)

# 主库
# 参数解释: -d指定后台运行   -p指定端口映射, 本地端口:容器端口   --name指定容器别名  -e配置环境变量, 这里指定了root用户的密码
docker run -d -p 3401:3306 --name mysql_master -e MYSQL_ROOT_PASSWORD=123456 mysql:5.7.13

# 从库
docker run -d -p 3402:3306 --name mysql_slave_1 -e MYSQL_ROOT_PASSWORD=123456 -d mysql:5.7.13
docker run -d -p 3403:3306 --name mysql_slave_2 -e MYSQL_ROOT_PASSWORD=123456 -d mysql:5.7.13



# 启动好了之后, 可以测试下能否连接成功
 mysql -h主机IP -P端口 -uroot -p123456
 
# 查看容器运行状态
docker container ls

4. 配置主库 (master)

# 1. 进入容器内部
docker exec -it [containerID] /bin/bash

# 2. 修改 /etc/mysql/my.cnf 配置文件
vim /etc/mysql/my.cnf

# 2.1 此时会报错, 没有容器内没有vim, 需要先安装.   (过程可能会比较慢, 视网速而定)
apt-get install vim

# 2.2 安装的时候又会报错, 说没有vim安装包, 这次需要更新一下源 (这一步时间可能会比较长)
apt-get update

# 2.3 更新完之后再安装就可以了
apt-get install vim

# 2.4 在 my.cnf中追加如下内容, 保存即可
[mysqld]
## 同一局域网内注意要唯一
server-id=100  
## 开启二进制日志功能，可以随便取（关键）
log-bin=mysql-bin


# 3. 配置完成之后, 需要重启 mysql,   重启mysql会导致docker容器停止, 需要重启拉起
service mysql restart

# 3.1 容器ID忘记的话, 可通过 docker container ls -a 查找之前运行过的容器
docker container start [containerID]


# 4. 在 master数据库创建数据同步用户, 授权用户slave REPLICATION SLAVE权限和REPLICATION CLIENT权限, 用于主库和从库之间的数据同步
# 创建用户之前先刷新一下权限, 不然可能报错

# 连接到 master mysql
mysql -h192.168.99.100 -P3401 -uroot -p123456
mysql> flush privileges;
mysql> CREATE USER 'slave'@'%' IDENTIFIED BY '123456';
mysql> GRANT REPLICATION SLAVE, REPLICATION CLIENT ON *.* TO 'slave'@'%';

# 至此, 主库的配置就完成了

5. 配置从库 (slave)

# 进入容器, 替换源, 安装vim  (和上面一样)
apt-get update
apt-get install vim
vim /etc/mysql/my.cnf

# 添加配置项
[mysqld]
## 设置server_id,注意要唯一
server-id=101
## 开启二进制日志功能，以备Slave作为其它Slave的Master时使用
log-bin=mysql-slave-bin
## relay_log配置中继日志  (这里配置的应该就是日志文件名, 随意即可, 待考证)
relay_log=edu-mysql-relay-bin


# 重启mysql服务, 重启容器
service mysql restart
docker container start [containerID]

6. 链接 master 和 salve

# 进入 master的 mysql
mysql -h192.168.99.100 -P3401 -uroot -p123456

# 执行 show master status
mysql> show master status;
+------------------+----------+--------------+------------------+-------------------+
| File             | Position | Binlog_Do_DB | Binlog_Ignore_DB | Executed_Gtid_Set |
+------------------+----------+--------------+------------------+-------------------+
| mysql-bin.000001 |      761 |              |                  |                   |
+------------------+----------+--------------+------------------+-------------------+
1 row in set (0.00 sec)


# 查询出3个容器的 ip, 后面的步骤会用到
docker inspect --format='{{.NetworkSettings.IPAddress}}' mysql_master
172.17.0.2
docker inspect --format='{{.NetworkSettings.IPAddress}}' mysql_slave_1
172.17.0.3
docker inspect --format='{{.NetworkSettings.IPAddress}}' mysql_slave_2
172.17.0.4


# 在 slave mysql中, 执行如下命令 (注意参数替换成自己的)
mysql -h192.168.99.100 -P3402 -uroot -p123456
# 注意这里的端口不是 3401, 3401是本地端口, 映射到docker容器的3306端口
change master to master_host='172.17.0.2', master_user='slave', master_password='123456', master_port=3306, master_log_file='mysql-bin.000001', master_log_pos= 761, master_connect_retry=30;

# 参数释义
# master_host是主库IP地址,  master_user是用于数据同步的用户名, master_password是用于同步的用户的密码
# master_log_file: 指定slave从哪个日志文件开始复制数据, 即 show master status 结果中的File字段值
# master_log_pos: 从哪个 position开始读, 即 show master status 结果中的Position字段值
# master_connect_retry: 如果连接失败, 重试的时间间隔, 单位是秒, 默认60s


# 查看主从同步状态
show slave G
*************************** 1. row ***************************
               Slave_IO_State:
                  Master_Host: 172.18.0.2
                  Master_User: slave
                  Master_Port: 3306
                Connect_Retry: 30
              Master_Log_File: mysql-bin.000001
          Read_Master_Log_Pos: 761
               Relay_Log_File: edu-mysql-relay-bin.000001
                Relay_Log_Pos: 4
        Relay_Master_Log_File: mysql-bin.000001
             Slave_IO_Running: No
            Slave_SQL_Running: No
              Replicate_Do_DB:
          Replicate_Ignore_DB:
           Replicate_Do_Table:
						......
            
# 正常情况下, Slave_IO_Running 和 Slave_SQL_Running都是 No, 因为我们开没有开启主从复制过程


# 开启主从复制  (重要)
mysql> start slave;

# 以下两个字段, 如果都为yes的话, 说明连接正常,  
Slave_IO_Running: Yes
Slave_SQL_Running: Yes


# 补充: 如果Slave_IO_Running是 Connecting的话, 说明连接有误, 可能是IP或者端口配置错了
# 如果出现了错误, Last_IO_Error字段会提示报错信息, 对照修改即可

# 先停用主从复制, 然后重新配置, 再开启
stop slave;
change master to master_host .....
start slave
show slave status G

File 和 Position字段的值后面会用到, 在后面的操作完成之前, 需要保证 master库不能做任何操作, 否则将引起状态变化, File和 Position字段的值会变化.

master_host



以上就配置好了, salve_2同上即可.

7. 测试

下面来测试一下, 只需要在master中创建一个数据库, 看下 slave_1, slave_2 有没有同步即可.
可以看到, master库创建了一个 test_1的数据库, 另外两个从库都有了 test_1数据库.

六. 资料参考

1. MySQL主从复制原理探索
2. 基于Docker的Mysql主从复制搭建
3. Docker下MySQL的安装