同步多个mysql 到一个

了解大概

Ref:

is it possible that canal set with multiple mysql database source  使用 canal

https://dev.mysql.com/doc/refman/8.0/en/replication-multi-source.html, mysql 从5.7原生支持 multiple source replication

https://www.percona.com/blog/2013/10/02/mysql-5-7-multi-source-replication/

https://www.cnblogs.com/CryFace/p/13600816.html， 讲到复制与备份区别，还有 Master - Slave - Slave 复制

https://www.jb51.net/article/161140.htm 讲到级联复制，也就是Master - Slave - Slaves

 

 从1对1主从复制开始

查了些资料，看到从 5.6 版本开始有 GTID 复制方式，比传统的基于binlog 位置的复制方式要好，所以选择 GTID复制.

用的环境：

Docker 20

Mysql 8.0.25

先创建3个文件 

#docker-compose.yml
version: '3.7'
services:
  mysql-master:
    image: "mysql"
    container_name: "mysql3307m"
    environment:
      MYSQL_ROOT_PASSWORD: root
    links:
      - mysql-slave
    ports:
      - "3307:3306"
    volumes:
      - ./master.cnf:/etc/mysql/my.cnf
      - ./mysql_files:/var/lib/mysql-files/
    hostname: mysql-master
  mysql-slave:
    image: "mysql"
    container_name: "mysql3308s"
    environment:
      MYSQL_ROOT_PASSWORD: root
    ports:
      - "3308:3306"
    volumes:
      - ./slave.cnf:/etc/mysql/my.cnf
      - ./mysql_files:/var/lib/mysql-files/
    hostname: mysql-slave

#master.cnf
[mysqld]
## 设置server_id，一般设置为IP，注意要唯一
server_id=100 
gtid_mode=ON
enforce-gtid-consistency=true
## 开启二进制日志功能，可以随便取，最好有含义（关键就是这里了）
log-bin=replicas-mysql-bin  
## 为每个session分配的内存，在事务过程中用来存储二进制日志的缓存
binlog_cache_size=1M  
## 主从复制的格式（mixed,statement,row，默认格式是statement）官方推荐在使用GTID情况下，基于行复制
binlog_format=row
## 二进制日志自动删除/过期的天数。默认值为0，表示不自动删除。
expire_logs_days=7  
## 跳过主从复制中遇到的所有错误或指定类型的错误，避免slave端复制中断。
## 如：1062错误是指一些主键重复，1032错误是因为主从数据库数据不一致
slave_skip_errors=1062
# 没有设置双1
innodb_flush_log_at_trx_commit=1
secure_file_priv=/var/lib/mysql

#slave.cnf
[mysqld]
## 设置server_id，一般设置为IP，注意要唯一
server_id=101
#GTID主从复制模式
gtid_mode=ON
enforce-gtid-consistency=true
## 开启二进制日志功能，可以随便取，最好有含义（关键就是这里了）
log-bin=replicas-mysql-bin  
## 为每个session分配的内存，在事务过程中用来存储二进制日志的缓存
binlog_cache_size=1M  
## 主从复制的格式（mixed,statement,row，默认格式是statement）官方推荐在使用GTID情况下，基于行复制
binlog_format=row
## 二进制日志自动删除/过期的天数。默认值为0，表示不自动删除。
expire_logs_days=7  
## 跳过主从复制中遇到的所有错误或指定类型的错误，避免slave端复制中断。
## 如：1062错误是指一些主键重复，1032错误是因为主从数据库数据不一致
slave_skip_errors=1062
relay_log=mysql-relay-bin
# crash safe
log_slave_updates=OFF
relay_log_recovery=ON
read_only=1
secure_file_priv=/var/lib/mysql

配置 Master端：

进入container 内部

docker exec -it mysql3307m /bin/bash

登录MySQL

mysql -uroot -proot

创建repliation user

CREATE USER 'repl'@'%' IDENTIFIED WITH 'mysql_native_password' BY 'repl';
GRANT REPLICATION SLAVE, REPLICATION CLIENT ON *.* TO 'repl'@'%'; 
flush privileges;

配置 Slave 端：

进入slave container：

docker exec -it mysql3308s /bin/bash

连上mysql，这里直接用了root的密码root,对应docker-compose.yml文件中配置的MYSQL_ROOT_PASSWORD项。

mysql -uroot -proot

 

执行sql，指定master和链接的用户

CHANGE MASTER TO MASTER_HOST = 'mysql-master', MASTER_PORT = 3306, MASTER_USER = 'repl', MASTER_PASSWORD = 'repl', MASTER_AUTO_POSITION = 1;

实验是否成功

链接上mysql-master,创建一个数据库，在mysql-slave上看是否存在。如果存在，那么同步成功。如果没有，那么检查一下配置和步骤，使用docker-compose rm删除容器重新来过，docker很方便。

实验过程中发现:

1. master端创建一个database, slave 成功同步.

2. slave 端创建一个database, master没有，这个正常.

3. master 再次创建一个database, slave 再次成功同步. 

4. 如果在slave端改了某个database，这个database就再也不同步了。 下图中，开始的PHP那行是正常同步过去的，然后我先在slave一个表里加了一条记录，又在master同一个表里加了'from master' 那行就同步不过去了.

Ref:

https://blog.csdn.net/s476685226/article/details/106079516, 基于docker环境搭建mysql 主从复制 GTID, 重点参考

MySQL5.7主从同步--点位方式及GTID方式

Docker mysql [Warning] World-writable config file '.cnf' is is ignored, Windows上跑docker mysql 发现挂载进去的my.cnf没起作用，参考这里发现是文件权限太大mysql 忽略了，win上改成read-only就行了 

mysql 8.0.25 遇到 slave 连master 连不上报 002061错误码，查看这里 Quick fix: CREATE USER replicator@'%' IDENTIFIED WITH 'mysql_native_password' BY 'secret';

 

 

 走向多对1主从(多个master对一个slave)

 对1-1 主从的文件升级为 many-1 配置

#docker-compose.yml
version: '3.7'
services:
  mysql-master1:
    image: "mysql"
    container_name: "mysql3308m1"
    environment:
      MYSQL_ROOT_PASSWORD: root
    links:
      - mysql-slave
    ports:
      - "3308:3306"
    volumes:
      - ./master1.cnf:/etc/mysql/my.cnf
      - ./mysql_files:/var/lib/mysql-files/
    hostname: mysql-master1
  mysql-master2:
    image: "mysql"
    container_name: "mysql3309m2"
    environment:
      MYSQL_ROOT_PASSWORD: root
    links:
      - mysql-slave
    ports:
      - "3309:3306"
    volumes:
      - ./master2.cnf:/etc/mysql/my.cnf
      - ./mysql_files:/var/lib/mysql-files/
    hostname: mysql-master2
  mysql-slave:
    image: "mysql"
    container_name: "mysql3307s"
    environment:
      MYSQL_ROOT_PASSWORD: root
    ports:
      - "3307:3306"
    volumes:
      - ./slave.cnf:/etc/mysql/my.cnf
      - ./mysql_files:/var/lib/mysql-files/
    hostname: mysql-slave

#master1.cnf
[mysqld]
## 设置server_id，一般设置为IP，注意要唯一
server_id=100 
gtid_mode=ON
enforce-gtid-consistency=true
## 开启二进制日志功能，可以随便取，最好有含义（关键就是这里了）
log-bin=replicas-mysql-bin  
## 为每个session分配的内存，在事务过程中用来存储二进制日志的缓存
binlog_cache_size=1M  
## 主从复制的格式（mixed,statement,row，默认格式是statement）官方推荐在使用GTID情况下，基于行复制
binlog_format=row
## 二进制日志自动删除/过期的天数。默认值为0，表示不自动删除。
expire_logs_days=7  
## 跳过主从复制中遇到的所有错误或指定类型的错误，避免slave端复制中断。
## 如：1062错误是指一些主键重复，1032错误是因为主从数据库数据不一致
slave_skip_errors=1062
# 没有设置双1
innodb_flush_log_at_trx_commit=1
secure_file_priv=/var/lib/mysql

#master2.cnf
[mysqld]
## 设置server_id，一般设置为IP，注意要唯一
server_id=102 
gtid_mode=ON
enforce-gtid-consistency=true
## 开启二进制日志功能，可以随便取，最好有含义（关键就是这里了）
log-bin=replicas-mysql-bin  
## 为每个session分配的内存，在事务过程中用来存储二进制日志的缓存
binlog_cache_size=1M  
## 主从复制的格式（mixed,statement,row，默认格式是statement）官方推荐在使用GTID情况下，基于行复制
binlog_format=row
## 二进制日志自动删除/过期的天数。默认值为0，表示不自动删除。
expire_logs_days=7  
## 跳过主从复制中遇到的所有错误或指定类型的错误，避免slave端复制中断。
## 如：1062错误是指一些主键重复，1032错误是因为主从数据库数据不一致
slave_skip_errors=1062
# 没有设置双1
innodb_flush_log_at_trx_commit=1
secure_file_priv=/var/lib/mysql

#slave.cnf
[mysqld]
## 设置server_id，一般设置为IP，注意要唯一
server_id=101
#GTID主从复制模式
gtid_mode=ON
enforce-gtid-consistency=true
## 开启二进制日志功能，可以随便取，最好有含义（关键就是这里了）
log-bin=replicas-mysql-bin  
## 为每个session分配的内存，在事务过程中用来存储二进制日志的缓存
binlog_cache_size=1M  
## 主从复制的格式（mixed,statement,row，默认格式是statement）官方推荐在使用GTID情况下，基于行复制
binlog_format=row
## 二进制日志自动删除/过期的天数。默认值为0，表示不自动删除。
expire_logs_days=7  
## 跳过主从复制中遇到的所有错误或指定类型的错误，避免slave端复制中断。
## 如：1062错误是指一些主键重复，1032错误是因为主从数据库数据不一致
slave_skip_errors=1062
relay_log=mysql-relay-bin
# crash safe
log_slave_updates=OFF
relay_log_recovery=ON
read_only=1
secure_file_priv=/var/lib/mysql

配置 masters

就是在每个master上创建 repliation user

CREATE USER 'repl'@'%' IDENTIFIED WITH 'mysql_native_password' BY 'repl';
GRANT REPLICATION SLAVE, REPLICATION CLIENT ON *.* TO 'repl'@'%'; 
flush privileges;

  

配置 slave

from 8.0.23, 用下面的语法

CHANGE REPLICATION SOURCE TO SOURCE_HOST="mysql-master1", SOURCE_USER="repl", SOURCE_PASSWORD="repl", SOURCE_AUTO_POSITION=1 FOR CHANNEL "mysql-master1";
CHANGE REPLICATION SOURCE TO SOURCE_HOST="mysql-master2", SOURCE_USER="repl", SOURCE_PASSWORD="repl", SOURCE_AUTO_POSITION=1 FOR CHANNEL "mysql-master2";

启动slave

START REPLICA FOR CHANNEL "mysql-master1";
START REPLICA FOR CHANNEL "mysql-master2";

看slave状态

SHOW REPLICA STATUS FOR CHANNEL "mysql-master1"G
SHOW REPLICA STATUS FOR CHANNEL "mysql-master2"G

实验结果：

 实验过程中遇到一下问题， 

 [ERROR] [MY-010586] [Repl] Error running query, slave SQL thread aborted. Fix the problem, and restart the slave SQL thread with "SLAVE START". We stopped at log 'replicas-mysql-bin.000003' position 196

用这个办法就好了，但是不知道原因，有时间再研究了.

Ref:

https://dev.mysql.com/doc/refman/8.0/en/replication-multi-source.html 主要参考这个官方文档

 多对1主从以后，再把Slave备份一下