• docker-compose搭建的Mysql主从复制


    docker-compose搭建的Mysql主从复制

     

    设置前注意下面几点:
    1)要保证同步服务期间之间的网络联通。即能相互ping通,能使用对方授权信息连接到对方数据库(防火墙开放3306端口)。
    2)关闭selinux。
    3)同步前,双方数据库中需要同步的数据要保持一致。这样,同步环境实现后,再次更新的数据就会如期同步了。如果主库是新库,忽略此步。

    创建目录

    mkdir -p /usr/local/docker/mysqlMS
    cd /usr/local/docker/mysqlMS
    

    编写docker-compose.yml

    version: '3.8'
    services:
      mysql-master:
        container_name: mysql-master 
        image: mysql:5.7.31
        restart: always
        ports:
          - 3340:3306 
        privileged: true
        volumes:
          - $PWD/msql-master/volumes/log:/var/log/mysql  
          - $PWD/msql-master/volumes/conf/my.cnf:/etc/mysql/my.cnf
          - $PWD/msql-master/volumes/data:/var/lib/mysql
        environment:
          MYSQL_ROOT_PASSWORD: "123456"
        command: [
            '--character-set-server=utf8mb4',
            '--collation-server=utf8mb4_general_ci',
            '--max_connections=3000'
        ]
        networks:
          - myweb
          
      mysql-slave:
        container_name: mysql-slave 
        image: mysql:5.7.31
        restart: always
        ports:
          - 3341:3306 
        privileged: true
        volumes:
          - $PWD/msql-slave/volumes/log:/var/log/mysql  
          - $PWD/msql-slave/volumes/conf/my.cnf:/etc/mysql/my.cnf
          - $PWD/msql-slave/volumes/data:/var/lib/mysql
        environment:
          MYSQL_ROOT_PASSWORD: "123456"
        command: [
            '--character-set-server=utf8mb4',
            '--collation-server=utf8mb4_general_ci',
            '--max_connections=3000'
        ]
        networks:
          - myweb    
    
    networks:
    
      myweb:
        driver: bridge
    

    创建配置文件夹

    root@haima-PC:/usr/local/docker/mysqlMS# mkdir -p msql-master/volumes/conf
    root@haima-PC:/usr/local/docker/mysqlMS# mkdir -p msql-slave/volumes/conf
    root@haima-PC:/usr/local/docker/mysqlMS# tree
    .
    ├── docker-compose.yml
    ├── msql-master
    │   └── volumes
    │       └── conf
    └── msql-slave
        └── volumes
            └── conf
    
    6 directories, 1 file
    

    1. 主master配置文件my.cnf

    vim msql-master/volumes/conf/my.cnf

    [mysqld]
    # [必须]服务器唯一ID,默认是1,一般取IP最后一段
    server-id=1
    
    # [必须]启用二进制日志
    log-bin=mysql-bin 
    
    # 复制过滤:也就是指定哪个数据库不用同步(mysql库一般不同步)
    binlog-ignore-db=mysql
    
    # 设置需要同步的数据库 binlog_do_db = 数据库名; 
    # 如果是多个同步库,就以此格式另写几行即可。
    # 如果不指明对某个具体库同步,表示同步所有库。除了binlog-ignore-db设置的忽略的库
    # binlog_do_db = test #需要同步test数据库。
    
    # 确保binlog日志写入后与硬盘同步
    sync_binlog = 1
    
    # 跳过所有的错误,继续执行复制操作
    slave-skip-errors = all       
    
    温馨提示:在主服务器上最重要的二进制日志设置是sync_binlog,这使得mysql在每次提交事务的时候把二进制日志的内容同步到磁盘上,即使服务器崩溃也会把事件写入日志中。
    sync_binlog这个参数是对于MySQL系统来说是至关重要的,他不仅影响到Binlog对MySQL所带来的性能损耗,而且还影响到MySQL中数据的完整性。对于``"sync_binlog"``参数的各种设置的说明如下:
    sync_binlog=0,当事务提交之后,MySQL不做fsync之类的磁盘同步指令刷新binlog_cache中的信息到磁盘,而让Filesystem自行决定什么时候来做同步,或者cache满了之后才同步到磁盘。
    sync_binlog=n,当每进行n次事务提交之后,MySQL将进行一次fsync之类的磁盘同步指令来将binlog_cache中的数据强制写入磁盘。
      
    在MySQL中系统默认的设置是sync_binlog=0,也就是不做任何强制性的磁盘刷新指令,这时候的性能是最好的,但是风险也是最大的。因为一旦系统Crash,在binlog_cache中的所有binlog信息都会被丢失。而当设置为“1”的时候,是最安全但是性能损耗最大的设置。因为当设置为1的时候,即使系统Crash,也最多丢失binlog_cache中未完成的一个事务,对实际数据没有任何实质性影响。
      
    从以往经验和相关测试来看,对于高并发事务的系统来说,“sync_binlog”设置为0和设置为1的系统写入性能差距可能高达5倍甚至更多。
    

    2. 从slave配置文件my.cnf

    vim msql-slave/volumes/conf/my.cnf

    [mysqld]
    # [必须]服务器唯一ID,默认是1,一般取IP最后一段  
    server-id=2
    
    # 如果想实现 主-从(主)-从 这样的链条式结构,需要设置:
    # log-slave-updates      只有加上它,从前一台机器上同步过来的数据才能同步到下一台机器。
    
    # 设置需要同步的数据库,主服务器上不限定数据库,在从服务器上限定replicate-do-db = 数据库名;
    # 如果不指明同步哪些库,就去掉这行,表示所有库的同步(除了ignore忽略的库)。
    # replicate-do-db = test;
    
    # 不同步test数据库 可以写多个例如 binlog-ignore-db = mysql,information_schema 
    replicate-ignore-db=mysql  
    
    ## 开启二进制日志功能,以备Slave作为其它Slave的Master时使用
    log-bin=mysql-bin
    log-bin-index=mysql-bin.index
    
    ## relay_log配置中继日志
    #relay_log=edu-mysql-relay-bin  
    
    ## 还可以设置一个log保存周期:
    #expire_logs_days=14
    
    # 跳过所有的错误,继续执行复制操作
    slave-skip-errors = all   
    

    启动服务

    root@haima-PC:/usr/local/docker/mysqlMM# docker-compose up -d
    Creating network "mysqlms_myweb" with driver "bridge"
    Creating mysql-master ... done
    Creating mysql-slave  ... done
    

    查询服务ip地址

    从上面的信息里获取服务创建的网络名称mysqlms_myweb

    docker network inspect mysqlms_myweb
    

    查到结果

    mysql-master ip为192.168.112.3
    mysql-slave ip为192.168.112.2
    

    进入主mysql服务

    docker exec -it mysql-master bash
    
    mysql -uroot -p123456
    
    #查看server_id是否生效
    mysql> show variables like '%server_id%';
    +----------------+-------+
    | Variable_name  | Value |
    +----------------+-------+
    | server_id      | 1     |
    | server_id_bits | 32    |
    +----------------+-------+
    
    #看master信息 File 和 Position 从服务上要用
    mysql> show master status;
    +------------------+----------+--------------+------------------+-------------------+
    | File             | Position | Binlog_Do_DB | Binlog_Ignore_DB | Executed_Gtid_Set |
    +------------------+----------+--------------+------------------+-------------------+
    | mysql-bin.000005 |      154 |              | mysql            |                   |
    +------------------+----------+--------------+------------------+-------------------+
    1 row in set (0.00 sec)
    
    
    #开权限
    mysql> grant replication slave,replication client on *.* to 'slave'@'%' identified by "123456";
    mysql> flush privileges;
    

    进入从slave服务

    docker exec -it mysql-slave bash
    
    mysql -uroot -p123456
    
    #查看server_id是否生效
    mysql> show variables like '%server_id%';
    +----------------+-------+
    | Variable_name  | Value |
    +----------------+-------+
    | server_id      | 2     |
    | server_id_bits | 32    |
    +----------------+-------+
    
    
    # 连接主mysql服务 master_log_file 和 master_log_pos的值要填写主master里查出来的值
    
    change master to master_host='192.168.112.3',master_user='slave',master_password='123456',master_port=3306,master_log_file='mysql-bin.000005', master_log_pos=154,master_connect_retry=30;
    
    
    #启动slave
    mysql> start slave;
    
    mysql> show slave status G;
    *************************** 1. row ***************************
                   Slave_IO_State: Waiting for master to send event
                      Master_Host: 192.168.112.3
                      Master_User: slave
                      Master_Port: 3306
                    Connect_Retry: 30
                  Master_Log_File: mysql-bin.000004
              Read_Master_Log_Pos: 617
                   Relay_Log_File: 7fee2f1fd5d2-relay-bin.000002
                    Relay_Log_Pos: 783
            Relay_Master_Log_File: mysql-bin.000004
                 Slave_IO_Running: Yes
                Slave_SQL_Running: Yes
                  Replicate_Do_DB: 
              Replicate_Ignore_DB: 
               Replicate_Do_Table: 
           Replicate_Ignore_Table: 
          Replicate_Wild_Do_Table: 
      Replicate_Wild_Ignore_Table: 
                       Last_Errno: 0
                       Last_Error: 
                     Skip_Counter: 0
              Exec_Master_Log_Pos: 617
                  Relay_Log_Space: 997
                  Until_Condition: None
                   Until_Log_File: 
                    Until_Log_Pos: 0
               Master_SSL_Allowed: No
               Master_SSL_CA_File: 
               Master_SSL_CA_Path: 
                  Master_SSL_Cert: 
                Master_SSL_Cipher: 
                   Master_SSL_Key: 
            Seconds_Behind_Master: 0
    Master_SSL_Verify_Server_Cert: No
                    Last_IO_Errno: 0
                    Last_IO_Error: 
                   Last_SQL_Errno: 0
                   Last_SQL_Error: 
      Replicate_Ignore_Server_Ids: 
                 Master_Server_Id: 1
                      Master_UUID: 8f6e9f5a-61f4-11eb-ac84-0242c0a86002
                 Master_Info_File: /var/lib/mysql/master.info
                        SQL_Delay: 0
              SQL_Remaining_Delay: NULL
          Slave_SQL_Running_State: Slave has read all relay log; waiting for more updates
               Master_Retry_Count: 86400
                      Master_Bind: 
          Last_IO_Error_Timestamp: 
         Last_SQL_Error_Timestamp: 
                   Master_SSL_Crl: 
               Master_SSL_Crlpath: 
               Retrieved_Gtid_Set: 
                Executed_Gtid_Set: 
                    Auto_Position: 0
             Replicate_Rewrite_DB: 
                     Channel_Name: 
               Master_TLS_Version: 
    1 row in set (0.01 sec)
    
    
    

    连接主mysql参数说明:

    **master_port**:Master的端口号,指的是容器的端口号
    
    **master_user**:用于数据同步的用户
    
    **master_password**:用于同步的用户的密码
    
    **master_log_file**:指定 Slave 从哪个日志文件开始复制数据,即上文中提到的 File 字段的值
    
    **master_log_pos**:从哪个 Position 开始读,即上文中提到的 Position 字段的值
    
    **master_connect_retry**:如果连接失败,重试的时间间隔,单位是秒,默认是60秒
    

    上面看到,有两个Yes,说明已经成功了

            Relay_Master_Log_File: mysql-bin.000004
                 Slave_IO_Running: Yes
                Slave_SQL_Running: Yes
    

    设置从服务器slave为只读模式

    在从服务器slave上操作

    SHOW VARIABLES LIKE '%read_only%'; #查看只读状态
    
    SET GLOBAL super_read_only=1; #super权限的用户只读状态 1.只读 0:可写
    SET GLOBAL read_only=1; #普通权限用户读状态 1.只读 0:可写
    

    到此已经设置成功了,下面就可以测试一下,已经可以主从同步了

    从服务器上的常用操作

    stop slave;
    start slave;
    show slave status;
    

    原理参考下面连接:
    https://www.cnblogs.com/wade-lt/p/9008058.html

    注意:
    Mysql主从环境部署一段时间后,发现主从不同步时,如何进行数据同步至一致?
    有以下两种做法:
    1)参考:mysql主从同步(2)-问题梳理 中的第(4)步的第二种方法
    http://www.cnblogs.com/kevingrace/p/6261111.html

    2)参考:mysql主从同步(3)-percona-toolkit工具(数据一致性监测、延迟监控)使用梳理
    https://www.cnblogs.com/kevingrace/p/6261091.html

    [Haima的博客] http://www.cnblogs.com/haima/
     
     
     
    https://www.cnblogs.com/raorao1994/p/14987918.html
    https://www.cnblogs.com/moyee/p/12933757.html
  • 相关阅读:
    A
    hdu 2108 Shape of HDU(判定是不是凸多边形)
    F
    J
    扩展欧几里得
    G
    A
    D
    E
    H
  • 原文地址:https://www.cnblogs.com/smallfa/p/15183605.html
Copyright © 2020-2023  润新知