docker+mysql 构建数据库的主从复制
在最近的项目中,决定将项目改造成数据库读写分离的架构,后续会有博文详细讲述我的开发改造,本文主要记录我是如何一步步的构建数据库的主从复制。
为什么使用docker
- 资源有限
- 虚拟机搭建对机器配置有要求,并且安装mysql步骤繁琐
- 一台机器上可以运行多个Docker容器
- Docker容器之间相互独立,有独立ip,互不冲突
- Docker使用步骤简便,启动容器在秒级别
- 最主要是穷,没有多的服务器供我用
首先拉取docker镜像,我这里直接拉取最新的mysql
docker pull mysql
根据拉取的对象,分别启动两个容器:
Master:
docker run -d -p 3339:3306 --name mysql-master -e MYSQL_ROOT_PASSWORD=123456 mysql
Slave
docker run -d -p 3340:3306 --name mysql-slave -e MYSQL_ROOT_PASSWORD=123456 mysql
之后可以使用docker ps
命令查看正在运行的容器
接下来开始写配置文件
配置Master(主)
docker exec -it mysql-master /bin/bash
进入到master容器内vim /etc/mysql/my.cnf
编辑mysql的配置文件,一般会出现如下错误:
bash: vi: command not found
说明该镜像还没有安装该命令,这时只需要我们使用 apt-get install vim
即可,当然了,敲完这个命令可能出现如下图所示的错误,原因是包没有更新,我们只需要执行 apt-get update
,之后再执行上述命令即可。
3. 然后我们就可以使用vim编辑my.cnf,在my.cnf中添加如下配置
[mysqld]
## 同一局域网内注意要唯一
server-id=100
## 开启二进制日志功能,可以随便取(关键)
log-bin=mysql-bin
4.下一步在Master数据库创建数据同步用户,首先使用mysql -u root -p123456
进入到mysql客户端中,执行下述语句,授予用户 slave REPLICATION SLAVE权限和REPLICATION CLIENT权限,用于在主从库之间同步数据。
CREATE USER 'slave'@'%' IDENTIFIED BY '123456';
GRANT REPLICATION SLAVE, REPLICATION CLIENT ON *.* TO 'slave'@'%';
4.退出容器(使用ctl + q + p同时多按几次即可退出),执行docker restart mysql-master
重启容器,然后再次进入到容器的mysql服务之中,
5.执行 show master status
查看master状态,记住这两个值
配置Master(从)
和配置Master(主)一样,在Slave配置文件my.cnf中添加如下配置:
[mysqld]
## 设置server_id,注意要唯一
server-id=101
## 开启二进制日志功能,以备Slave作为其它Slave的Master时使用
log-bin=mysql-slave-bin
## relay_log配置中继日志
relay_log=edu-mysql-relay-bin
链接Master(主)和Slave(从)
在Slave中进入到mysql客户端,执行
change master to master_host='172.17.0.2',master_user='slave',master_password='123456',master_port=3306, master_log_file='mysql-bin.000001', master_log_pos=2830, master_connect_retry=30;
命令说明:
master_host: Master的地址,指的是容器的独立ip,可以通过docker inspect --format='{{.NetworkSettings.IPAddress}}' 容器名称|容器id查询容器的ip
master_port: Master的端口号,指的是容器的端口号
master_user:用于数据同步的用户
master_password:用于同步的用户的密码
master_log_file:指定 Slave 从哪个日志文件开始复制数据,即上文中提到的 File 字段的值
master_log_pos:从哪个 Position 开始读,即上文中提到的 Position 字段的值
master_connect_retry:如果连接失败,重试的时间间隔,单位是秒,默认是60秒
在Slave 中的mysql终端执行 show slave status G;
用于查看主从同步状态。
了解Mysql主从复制的都知道这两个线程的作用,IO线程主要用来链接主节点,简单来说就是捞数据用到,SQL线程将捞过来的数据进行解析并运行,这样主从之间的数据就进行了同步。
正常情况下,图中SlaveIORunning 和 SlaveSQLRunning 都是No,因为我们还没有开启主从复制过程。使用start slave
开启主从复制过程,然后再次查询主从同步状态show slave status G;
。
当图中两个线程均是yes的时候说明启动正常,至此配置结束,但是,一般会出现以下的情况:
mysql> show slave status G
*************************** 1. row ***************************
Slave_IO_State: Connecting to master
Master_Host: 192.168.1.3
Master_User: replication
Master_Port: 3306
Connect_Retry: 60
Master_Log_File: mysql-bin.000002
Read_Master_Log_Pos: 734
Relay_Log_File: mysql-relay-bin.000002
Relay_Log_Pos: 4
Relay_Master_Log_File: mysql-bin.000002
Slave_IO_Running: Connecting
Slave_SQL_Running: Yes
Replicate_Do_DB:
Replicate_Ignore_DB:
Replicate_Do_Table:
Replicate_Ignore_Table:
Replicate_Wild_Do_Table:
Replicate_Wild_Ignore_Table:
Last_Errno: 0
Last_Error:
Skip_Counter: 0
Exec_Master_Log_Pos: 734
Relay_Log_Space: 155
Until_Condition: None
Until_Log_File:
Until_Log_Pos: 0
Master_SSL_Allowed: No
Master_SSL_CA_File:
Master_SSL_CA_Path:
Master_SSL_Cert:
Master_SSL_Cipher:
Master_SSL_Key:
Seconds_Behind_Master: NULL
Master_SSL_Verify_Server_Cert: No
Last_IO_Errno: 2061
Last_IO_Error: error connecting to master 'replication@192.168.1.3:3306' - retry-time: 60 retries: 12
Last_SQL_Errno: 0
Last_SQL_Error:
Replicate_Ignore_Server_Ids:
Master_Server_Id: 0
Master_UUID:
Master_Info_File: mysql.slave_master_info
SQL_Delay: 0
SQL_Remaining_Delay: NULL
Slave_SQL_Running_State: Slave has read all relay log; waiting for more updates
Master_Retry_Count: 86400
Master_Bind:
Last_IO_Error_Timestamp: 190129 14:09:22
Last_SQL_Error_Timestamp:
Master_SSL_Crl:
Master_SSL_Crlpath:
Retrieved_Gtid_Set:
Executed_Gtid_Set:
Auto_Position: 0
Replicate_Rewrite_DB:
Channel_Name:
Master_TLS_Version:
Master_public_key_path:
Get_master_public_key: 0
Slave_IO_Running线程一直显示正在连接状态,错误码是2061,是因为我们拉取的惊醒默认是最新的,也就是Mysql8.0,MySQL8.0默认指定使用需要SSL的身份验证插件caching_sha2_password
,而我们在创建同步复制账号时候没有指定REQUIRE SSL。为了降低这件事情的复杂性,我们选择了社区的解决方法,选择绕过SSL插件的验证,改为mysql_native_password
验证来做同步复制。
解决:
重新创建MySQL复制账号,创建账号时指定身份验证方法
mysql> CREATE USER 'slave'@'%' IDENTIFIED WITH 'mysql_native_password' BY '123456';
mysql> GRANT REPLICATION SLAVE ON *.* TO 'repl'@'%';
mysql> FLUSH PRIVILEGES;
此时再查看该用户的密码加密方式,plugin为mysql_native_password
mysql> select user,host,plugin,authentication_string from user G
*************************** 1. row ***************************
user: repl
host: 192.168.1.3
plugin: mysql_native_password
authentication_string: *47C25685DDCE2754F1175C38F437961FF6C5AC53
再次设置同步成功
测试主从复制
我们可以在master上创建一个数据库,然后检查slave是否也创建了该库。