• Redis主从复制


    主从复制

    简介

    将master中的数据即时、有效的复制到slave中,一个master可以连接多个slave,一个slave只能对应一个master。master的功能不受约束,但执行写操作时要把变化的数据自动同步到slave,slave只能读数据操作。

    作用

    实现读写分离,增加负载均衡(基于主从结构,配合读写分离,由slave分担master负载,根据业务需求的变化,改变slave的数量,通过多个从节点分担数据读取负载,不断提高Redis服务器并发量与数据吞吐量),为了更快速实现故障恢复,实现数据热备份(数据冗余),为了构建哨兵模式和集群作为基础。

    工作流程

    建立连接阶段, 数据同步阶段, 命令传播阶段

    搭建主从结构

    第一阶段 建立连接阶段 建立slave到master的连接,使master能够识别slave,并保存slave端口号

    工作流程 第一步,设置master address和port,并保存,(slave发送指令:slaveof ip port,master接收到指令响应对方,保存master ip与端口)第二步,建立socket连接(slave根据保存的信息创建连接master的socket ,),第三步,发送ping命令(周期性发送命令:ping,master收到响应pong),第四步,身份验证(slave发送指令:auth password,master验证授权),第五步,发送slave端口信息(发送指令:replconf listening-port )

    基本命令

    方式一:客户端发送命令 slaveof

    方式二:启动服务器参数 redis-server -slaveof

    方式三:服务器配置 slaveof

    主从断开连接:slave客户端发送命令 slaveof no one

    实操

    第一步,开启四个界面(两个服务器界面,一个master,一个slave),配置6379和6380端口的conf文件,把守护进程关掉,也需要把日志给关掉。第二步,重启服务。第三步,在slave客服端上面连master服务器,在主服务器写入数据,在从的服务器读取。

    第二种方式连接,直接在slave服务器端连接。

    第三种方式,在配置文件conf去设置自动连接master服务器。

    只需要在conf文件里面加上slaveof 127.0.0.1 6379即可。

    第一步,在slave里面断开连接,第二步,然后在master客服端上修改数据,第三步,之后再slave客服端上面get修改的数据,发现没有发生变化,说明slave断开服务器成功,无法正常同步数据。

    先断开连接之后,然后我在master客户端使用了set name 666,之后回到slave客服端操作,get name,无法得到修改数据。

    授权访问

    master客户端发送命令设置密码 requirepass

    master配置文件设置密码 config set requirepass

    config get requirepass

    slave客户端发送命令设置密码 auth

    slave配置文件设置密码 masterauth

    slave启动服务器设置密码 redis-server –a

    阶段二:数据同步阶段工作流程

    在slave初次连接master后,复制master中的所有数据到slave , 将slave的数据库状态更新成master当前的数据库状态

    工作流程

    第一步:请求同步数据(slave①发送指令:psync2) ;第二步:创建RDB同步数据(master②执行bgsave ③第一个slave连接时, 创建命令缓冲区 ④生成RDB文件,通过 socket发送给slave) ;第三步:恢复RDB同步数据(slave⑤接收RDB,清空数据,执行RDB文件恢复过程); 第四步:请求部分同步数据 (slave⑥发送命令告知RDB恢复已经完成完成master⑦发送复制缓冲区信息);第五步:恢复部分同步数据(⑧接收信息,执行bgrewriteaof,恢复数据,slave⑨发送指令,master⑩接收到指令,响应对方)。同步完成之后,master保存了salve当前数据同步的位置,slave具有master端全部数据,包括持久化过程接受的数据。

    第一步到第三步为全量复制,第四至第五步是部分复制。

    数据同步阶段master说明

    master数据量大,应避开高峰期;复制缓冲区大小应设置合理,避免数据溢出,造成第二次全量复制,slave可能陷入死循环。repl-backlog-size 1mb 为了预留bgsave命令和创建复制缓冲区,避免master单机内存占用过大。

    数据同步阶段slave说明

    为避免slave进行全量复制、部分复制时服务器响应阻塞或数据不同步,建议关闭此期间的对外服务 slave-serve-stale-data yes|no ;数据同步阶段,master是slave的一个客户端,主动向slave发送命令;多个slave同时对master请求数据同步,master发送的RDB文件增多,数据同步需要根据业务需求,适量错峰 ;slave过多时,可以改变结构,由一主多从结构变为树状结构,中间的节点既是master,也是 slave。由于层级深度,导致深度越高的slave与最顶层master间数据同步延迟较大,数据一致性变差。

    阶段三:命令传播阶段

    当master数据库状态被修改后,为了让主从数据同步到一致的状态,同步的动作称为命令传播 , master将接收到的数据变更命令发送给slave,slave接收命令后执行命令。

    服务器运行ID(runid)

    每一台服务器每次运行的身份识别码,一台服务器多次运行可以生成多个运行id。

    运行id由40位字符组成,是一个随机的十六进制字符。运行id被用于在服务器间进行传输,识别身份 ,如果想两次操作均对同一台服务器进行,必须每次操作携带对应的运行id,用于对方识别。运行id自动生成,如master连接slave,会将自己的id发给对方,通过info server可以查看

    复制缓冲区

    一个先进先出的队列,用于存储服务器执行过的命令,每次传播命令,master都会将传播的命令记录下来,并存储在复制缓冲区。复制缓冲区默认数据存储空间大小是1M,当入队元素的数量大于队列长度时,最先入队的元素会被弹出,而新元素会被放入队列,用于保存master收到的影响数据变更的指令.

    复制缓冲区内部工作原理

    由偏移量 ,字节值组成。原理:通过offset区分不同的slave当前数据传播的差异 ,master记录已发送的信息对应的offset, slave记录已接收的信息对应的offset

    主从服务器复制偏移量(offset)

    描述复制缓冲区中的指令字节位置,master复制偏移量:记录发送给所有slave的指令字节对应的多个位置,而slave复制偏移量只接受一个对应的master位置。当slave断线恢复数据使用

    数据同步+命令传播阶段工作流程

    ①发送指令: psync2 ?-1 psync2 ;master②执行bgsave生成RDB文件,记录当前的复制偏移量offset ③发送 +FULLRESYNC runid offset 通过socket发送RDB文件给slave期间接收客户端命令,offset发生了变化 slave④收到 +FULLRESYNC 保存master的runid和offset 清空当前全部数据,通过socket接收RDB文件,恢复RDB数据;

    部分复制:⑤发送命令:psync2 runid offset master⑥接收命令,判定runid是否匹配,判定offset是否在复制缓冲区中 ⑦如果runid或offset有一个不满足,执行全量复制;如果runid或offset校验通过,offset与offset相同,忽略,offset与offset不相同,发送 +CONTINUE offset 通过socket发送复制缓冲区中offset到offset的数据

    slave⑧收到 +CONTINUE 保存master的offset 接收信息后,执行bgrewriteaof,恢复数据。
    心跳机制

    在进入命令传播阶段时,master与slave间需要进行信息交换,使用心跳机制进行维护,实现双方连接保持在线。master使用ping指令,周期默认为10秒,可以查看repl-ping-slave-period,使用INFO replication 获取slave最后一次连接时间间隔,lag项维持在0或1视为正常。 slave使用指令REPLCONF ACK{offset}确认,周期为1秒,判断master是否在线,汇报slave自己复制偏移量,获取最新的变更指令。

    min-slaves-to-write 2 min-slaves-max-lag 8

    注意: 当slave数量少于2个,或所有slave的延迟都大于等于10秒时,master为保障数据稳定性,强制关闭master写功能,将拒绝所有信息同步操作。slave数量延迟由slave发送REPLCONF ACK命令做确认

    主从复制常见问题

    如果master的数据量变得越来越大,一旦master重启,runid将发生变化,会导致全部slave进行全量复制操作

    调整优化:在 master内部创建master_replid变量,使用runid相同的策略生成,长度41位,并发送给所有slave 。 在master关闭时执行命令 shutdown save,进行RDB持久化,将runid与offset保存到RDB文件中 。 repl-id repl-offset 使用redis-check-rdb命令可以查看该信息 master重启后加载RDB文件,恢复数据重启后,将RDB文件中保存的repl-id与repl-offset加载到内存中 master_repl_id = repl master_repl_offset = repl-offset 通过info命令可以查看该信息

    当网络中断时,slave不提供服务,复制缓冲区过小,断网后slave的offset越界,触发全量复制,可以修改复制缓冲区大小 repl-backlog-size 缓冲区大小可以先测算master到slave重连平均时长second,获取master每秒产生写命令重量write_size_per_second,最优复制缓冲区空间 = 2 * second * write_size_per_second。

    master的CPU占用过高或slave频繁断开连接,slave每1秒发送REPLCONF ACK命令到master , 当slave接到了慢查询时(keys * ,hgetall等),会大量占用CPU性能 ,master每1秒调用复制定时函数replicationCron(),比对slave发现长时间没有进行响应

    ,导致master各种资源被严重占用,可以通过设置合理的超时时间,确认是否释放slave,repl-timeout 默认60秒。

    slave与master连接断开 可能因为master发送ping指令频度较低,master设定超时时间较短,ping指令在网络中存在丢包。可以提高ping指令发送的频度 使用repl-ping-slave-period 命令,应设置repl-time的时间至少是ping指令频度的5到10倍。

    数据不一致

    多个slave获取相同数据不同步,网络可能延迟,优化主从间的网络环境,可以通过offset判断监控主从节点延迟,如果slave延迟过大,暂时屏蔽程序对该slave的数据访问。slave-serve-stale-data yes|no 只能响应info、slaveof等少数命令。

    查看redis服务端启动日志

    第一句日志的解释是,开始从磁盘这个目标同步执行bgsave,第二句的解释是后台bgsave的运行已经开始了,第三句,把对应得DB保存在磁盘上,第四句,关于RDB写入的一些信息,第五句,bgsave已经执行成功了,第六句,同步到slave。

  • 相关阅读:
    hihocoder1634 Puzzle Game
    hihocoder1580 Matrix
    BZOJ3036 绿豆蛙的归宿
    CF|codeforces 280C Game on Tree
    [SDOI2011] 计算器
    [SCOI2007] 修车
    [JSOI2008] 球形空间产生器sphere
    APIO2012 派遣dispatching | 左偏树
    OI数据结构&&分治 简单学习笔记
    BZOJ3307 雨天的尾巴
  • 原文地址:https://www.cnblogs.com/zzy8080/p/13961892.html
Copyright © 2020-2023  润新知