• redis 笔记04 服务器、复制


    服务器

    1. 一个命令请求从发送到完成主要包括以下步骤:

        1). 客户端将命令请求发送给服务器

        2). 服务器读取命令请求,并分析出命令参数

        3). 命令执行器根据参数查找命令的实现函数,然后执行实现函数并得出命令回复

        4). 服务器将命令回复返回给客户端

    2. serverCron函数默认每隔100毫秒执行一次,它的工作主要包括更新服务器状态信息,处理服务器接收的SIGTERM信号,管理客户端资源和数据库状态,检查并执行持久化操作等等。

    3. 服务器从启动到开始处理客户端的命令请求需要执行以下步骤:

        1). 初始化服务器状态结构。为结构中的各个属性设置默认值。

        2). 载入服务器配置选项。

        3). 初始化服务器数据结构。包括创建共享对象(思想),如一些常用字符串("OK"等),整数1到10000的字符串对象等等。

        4). 还原数据库状态,即载入RDB或者AOF文件。

        5). 执行事件循环,开始接受客户端的连接请求。

    4. serverCron函数执行的主要操作:

        1). 更新服务器时间缓存。每次获取系统当前时间太耗资源,可以将系统时间缓存起来。不重要的事件使用缓存时间,重要的事件依旧获取当前系统时间。(思想)

        2). 更新LRU时钟。服务器时间缓存的一种。每个Redis对象都有一个lru属性,这个lru属性保存了对象最后一次被命令访问的时间。

        3). 更新服务器每秒执行命令次数。可以通过INFO stats 命令的instantaneous_ops_per_sec域查看。

        4). 更新服务器内存峰值记录。INFO memory命令的used_memory_peak和used_memory_peak_human两个域分别以两种格式记录了服务器的内存峰值。

        5). 处理SIGTERM信号。服务器关闭信号。接收到该信号后,服务器在关闭自身之前会进行RDB持久化操作。(思想)

        6). 管理客户端资源。关闭,重新分配输入缓冲区等。

        7). 管理数据库资源。对服务器中的一部分数据库进行检查,删除过期键,对字段进行收缩操作等。

        8). 执行被延迟的BGREWRITEAOF。

        9). 检查持久化操作的运行状态。检查新的RDB文件是否新建完成,检查是否满足AOF重写条件等。

        10). 将AOF缓冲区中的内容写入AOF文件

        11). 关闭异步客户端。关闭那些输出缓冲区大小超出限制的客户端。

        12). 增加cronloopse计数器的值。也即是serverCron函数执行的次数。

    复制

    1. Redis2.8以前的复制功能不能高效地处理断线后重复制情况,但Redis2.8新添加的部分重同步功能可以解决这个问题。

    2. 部分重同步通过复制偏移量、复制积压缓冲区、服务器运行ID三个部分来实现。

    3. 在复制操作刚开始的时候,从服务器会成为主服务器的客户端,并通过向主服务器发送命令请求来执行复制步骤,而在复制操作的后期,主从服务器会互相成为对方的客户端。

    4. 主服务器通过向从服务器传播命令来更新从服务器的状态,保存主从服务器一致,而从服务器则通过向主服务器发送命令进行心跳检测,以及命令丢失检测。

    5. 在Redis中,用户可以通过执行SLAVEOF命令或者设置slaveof选项,让一个服务器(从服务器)去复制另一个服务器(主服务器)。

    6. 旧版复制功能的实现:

        1). 同步

             a. 从服务器向主服务器发送SYNC命令

             b. 主服务器执行BGSAVE命令,后台生成一个RDB文件,并使用缓存区记录从现在开始执行的所有写命令

             c. 主服务器将RDB文件发送给从服务器,从服务器载入RDB文件

             d. 主服务器将缓冲区的命令发送给从服务器

        2). 命令传播:为了让主从服务器一直保持一致状态,主服务器需要对从服务器执行命令传播操作:主服务器将自己执行的写命令,发送给从服务器执行。

    7. 旧版复制功能的缺陷: 断线复制会重新复制主服务器中的所有内容。

    8. 新版复制功能的实现,Redis从2.8版本开始,使用PSYNC命令代替SYNC命令来执行复制时的同步操作。PSYNC命令具有完整重同步和部分重同步两种模式:

        1). 完整重同步:执行的步骤和SYNC命令的执行步骤基本一样。 

        2). 部分重同步:只同步断开后的操作。

    9. 部分重同步的实现:

        1). 复制偏移量:主从服务器会分别维护一个复制偏移量。通过对比主从服务器的复制偏移量,程序可以很容易地知道主从服务器是否处于一致状态。

        2). 复制积压缓冲区 : 复制积压缓冲区是由主服务器维护的一个固定长度先进先出队列,默认大小为1M。缓冲区里面会保存着一部分最近传播的写命令,并且复制积压缓冲区会为队列中

                                    的每个字节记录相应的复制偏移量。

        3). 服务器运行ID:初次连接时,主服务器会将运行ID传给从服务器,从服务器将该ID保存起来。断开重连时,根据此ID判断之前是否有复制关系。

    10. 正确估算和设置复制积压缓冲区的大小非常重要。估算公式:second*write_size_per_second , second为连接平均所需时间。write_size_per_second 表示主服务器每秒产生的

          写命令数据量。例如:每秒1M,5秒才能连接上,缓冲区大小就不能低于5M。安全起见可以设置为2倍。

    11. PSYNC命令的实现:

          PSYNC命令的调用方法有两种:

          1). PSYNC ? -1 : 之前没有复制过

          2). PSYNC <runid> <offset> , runid 主服务器运行ID , offset 偏移量

          主服务器回复:

          1). 完整重同步

          2). 部分同步

          3). 识别不了PSYNC,Redis版本低于2.8

    12. 复制的实现

          1). 设置主服务器的地址和端口:SLAVEOF <master_ip> <master_port>

          2). 建立套接字连接

          3). 发送PING命令

          4). 身份验证

          5). 发送端口信息,将从服务器监听端口通知给主服务器。

          6). 同步

          7). 命令传播

    13. 心跳检测,在命令传播阶段,从服务器默认会以每秒一次的频率,向主服务器发送命令:REPLCONF ACK <replication_offset>  (思想)

          1). 检测从服务器的网络连接状态

          2). 辅助实现min-slaves配置选项。防止主服务器在不安全的情况下执行写命令例如,我们向主服务器提供以下设置:

               min-slaves-to-write 3

               min-slaves-max-lag 10

               那么在从服务器的数量少于3个,或者三个从服务器的延迟(lag)值都大于或等于10秒时,主服务器将拒绝执行写命令。

          3). 检测命令丢失。通过比较偏移量,可以检测出网络断线时,丢失的数据。重新发送给从服务器。

    14. REPLCONF ACK命令和复制积压缓冲区都是Redis 2.8版本新增的,所以为了保证复制时主从服务器的数据一致性,最好使用2.8或以上版本

  • 相关阅读:
    php 0818
    php 0817
    python 0812
    python 0808
    python 0810
    php 0822
    python 0815
    python 0816
    微信浏览器内调取扫一扫
    linux下的socket基础编程
  • 原文地址:https://www.cnblogs.com/Jtianlin/p/5111811.html
Copyright © 2020-2023  润新知