• Redis集群部署


    一、Redis介绍

    1. Redis和Memcached类似,也是NoSQL的一种,是一个基于内存的高性能key-value(k-v)数据库。

    2. Redis支持string(字符串)list(列表)set(无序集合)zset有序集合hash(哈希)类型数据,这些数据类型都支持push/pop、add/remove及取交集、并集和差集及更丰富的操作。

    3. Redis持久化方式:全量数据(RDB:Redis DataBase增量请求(AOF:Append Only File全量数据在指定的时间间隔内生成数据集的时间点快照(point-in-time snapshot);增量请求则是把内存中的数据序列转化为操作请求,用于读取文件进行replay得到数据,这种类似于mysql的binlog。Redis的存储分为内存存储、磁盘存储和log文件三部分。

    4. Redis有三种集群模式:主从模式Sentinel(哨兵)模式Cluster模式

    二、主从模式

    1)主从模式特点

    * 主数据库可以进行读写操作,当读写操作导致数据变化时会自动将数据同步给从数据库
    
    * 从数据库一般都是只读的,并且接收主数据库同步过来的数据
    
    * 一个master可以拥有多个slave,但是一个slave只能对应一个master
    
    * slave挂了不影响其他slave的读和master的读和写,重新启动后会将数据从master同步过来
    
    * master挂了以后,不影响slave的读,但redis不再提供写服务,master重启后redis将重新对外提供写服务
    
    * master挂了以后,不会在slave节点中重新选一个master

    2)工作机制

    1. 当slave启动后,主动向master发送SYNC命令。master接收到SYNC命令后在后台保存快照(RDB持久化)和缓存保存快照这段时间的命令,然后将保存的快照文件和缓存的命令发送给slave。slave接收到快照文件和命令后加载快照文件和缓存的执行命令。

    2. 复制初始化后,master每次接收到的写命令都会同步发送给slave,保证主从数据一致性。

    3)安全设置

    当master节点设置密码后:

    客户端访问master需要密码
    
    启动slave需要密码,在配置文件中配置即可
    
    客户端访问slave不需要密码

    4)缺点

    • 从上面可以看出,master节点在主从模式中唯一,若master挂掉,则redis无法对外提供写服务。

    5)主从模式搭建

    1、 环境准备

    master节点                  192.168.182.129
    
    slave节点                   192.168.182.130
    
    slave节点                   192.168.182.131

    2、全部节点下载安装

    mkdir /software && cd /software
    
    wget http://download.redis.io/releases/redis-5.0.4.tar.gz
    
    tar zxf redis-5.0.4.tar.gz && mv redis-5.0.4/ /usr/local/redis
    
    cd /usr/local/redis && make MALLOC=libc && make install

    3、全部配置成服务

    # 服务文件

    cat << EOF > /usr/lib/systemd/system/redis.service
    [Unit]
    Description=Redis persistent key-value database
    After=network.target
    After=network-online.target
    Wants=network-online.target
    
    [Service]
    ExecStart=/usr/local/bin/redis-server /usr/local/redis/redis.conf --supervised systemd
    ExecStop=/usr/libexec/redis-shutdown
    Type=notify
    User=redis
    Group=redis
    RuntimeDirectory=redis
    RuntimeDirectoryMode=0755
    
    [Install]
    WantedBy=multi-user.target
    EOF

    # shutdown脚本

    cat << EOF > /usr/libexec/redis-shutdown
    #!/bin/bash
    #
    # Wrapper to close properly redis and sentinel
    test x"$REDIS_DEBUG" != x && set -x
    
    REDIS_CLI=/usr/local/bin/redis-cli
    
    # Retrieve service name
    SERVICE_NAME="$1"
    if [ -z "$SERVICE_NAME" ]; then
       SERVICE_NAME=redis
    fi
    
    # Get the proper config file based on service name
    CONFIG_FILE="/usr/local/redis/$SERVICE_NAME.conf"
    
    # Use awk to retrieve host, port from config file
    HOST=`awk '/^[[:blank:]]*bind/ { print $2 }' $CONFIG_FILE | tail -n1`
    PORT=`awk '/^[[:blank:]]*port/ { print $2 }' $CONFIG_FILE | tail -n1`
    PASS=`awk '/^[[:blank:]]*requirepass/ { print $2 }' $CONFIG_FILE | tail -n1`
    SOCK=`awk '/^[[:blank:]]*unixsockets/ { print $2 }' $CONFIG_FILE | tail -n1`
    
    # Just in case, use default host, port
    HOST=${HOST:-127.0.0.1}
    if [ "$SERVICE_NAME" = redis ]; then
        PORT=${PORT:-6379}
    else
        PORT=${PORT:-26739}
    fi
    
    # Setup additional parameters
    # e.g password-protected redis instances
    [ -z "$PASS"  ] || ADDITIONAL_PARAMS="-a $PASS"
    
    # shutdown the service properly
    if [ -e "$SOCK" ] ; then
            $REDIS_CLI -s $SOCK $ADDITIONAL_PARAMS shutdown
    else
            $REDIS_CLI -h $HOST -p $PORT $ADDITIONAL_PARAMS shutdown
    fi
    EOF

    # 授权启动服务

    chmod +x /usr/libexec/redis-shutdown
    
    useradd -s /sbin/nologin redis
    
    chown -R redis:redis /usr/local/redis
    
    mkdir -p /data/redis && chown -R redis:redis /data/redis
    
    yum install -y bash-completion && source /etc/profile                 # 命令补全
    
    systemctl daemon-reload
    
    systemctl enable redis

    # 修改配置

    192.168.182.129

    $ vim /usr/local/redis/redis.conf
    bind 192.168.182.129               # 监听ip,多个ip用空格分隔
    daemonize yes               # 允许后台启动
    logfile "/usr/local/redis/redis.log"                # 日志路径
    dir /data/redis                 # 数据库备份文件存放目录
    masterauth 123456               # slave连接master密码,master可省略
    requirepass 123456              # 设置master连接密码,slave可省略
    
    appendonly yes                  # 在/data/redis/目录生成appendonly.aof文件,将每一次写操作请求都追加到appendonly.aof 文件中
    
    $ echo 'vm.overcommit_memory=1' >> /etc/sysctl.conf
    
    $ sysctl -p

    192.168.182.130

    $ vim /usr/local/redis/redis.conf
    
    bind 192.168.182.130
    daemonize yes
    logfile "/usr/local/redis/redis.log"
    dir /data/redis
    replicaof 192.168.182.129 6379
    masterauth 123456
    requirepass 123456
    appendonly yes
    
    $ echo 'vm.overcommit_memory=1' >> /etc/sysctl.conf
    
    $ sysctl -p

    192.168.182.131

    $ vim /usr/local/redis/redis.conf
    
    bind 192.168.182.131
    daemonize yes
    logfile "/usr/local/redis/redis.log"
    dir /data/redis
    replicaof 192.168.182.129 6379
    masterauth 123456
    requirepass 123456
    appendonly yes
    
    $ echo 'vm.overcommit_memory=1' >> /etc/sysctl.conf
    
    $ sysctl -p

    从服务器比主服务器多一个slaveof的配置和密码

    # 全部启动redis

    systemctl start redis

    # 查看集群状态

    redis-cli -h 192.168.182.129 -a 123456
    192.168.182.129:6379> info replication

    redis-cli -h 192.168.182.129 -a 123456 info replication

    注意:在slave节点上只能读,无法写入数据

    三、Sentinel(哨兵)模式

    1)Sentinel模式介绍

    主从模式的弊端就是不具备高可用性,当master挂掉以后,Redis将不能再对外提供写入操作,因此sentinel应运而生。

    sentinel中文含义为哨兵,顾名思义,它的作用就是监控redis集群的运行状况,特点如下:

    * sentinel模式是建立在主从模式的基础上,如果只有一个Redis节点,sentinel就没有任何意义
    
    * 当master挂了以后,sentinel会在slave中选择一个做为master,并修改它们的配置文件,其他slave的配置文件也会被修改,比如slaveof属性会指向新的master
    
    * 当master重新启动后,它将不再是master而是做为slave接收新的master的同步数据
    
    * sentinel因为也是一个进程有挂掉的可能,所以sentinel也会启动多个形成一个sentinel集群
    
    * 多sentinel配置的时候,sentinel之间也会自动监控
    
    * 当主从模式配置密码时,sentinel也会同步将配置信息修改到配置文件中,不需要担心
    
    * 一个sentinel或sentinel集群可以管理多个主从Redis,多个sentinel也可以监控同一个redis
    
    * sentinel最好不要和Redis部署在同一台机器,不然Redis的服务器挂了以后,sentinel也挂了

    2)工作机制

    * 每个sentinel以每秒钟一次的频率向它所知的master,slave以及其他sentinel实例发送一个 PING 命令 
    
    * 如果一个实例距离最后一次有效回复 PING 命令的时间超过 down-after-milliseconds 选项所指定的值, 则这个实例会被sentinel标记为主观下线。 
    
    * 如果一个master被标记为主观下线,则正在监视这个master的所有sentinel要以每秒一次的频率确认master的确进入了主观下线状态
    
    * 当有足够数量的sentinel(大于等于配置文件指定的值)在指定的时间范围内确认master的确进入了主观下线状态, 则master会被标记为客观下线 
    
    * 在一般情况下, 每个sentinel会以每 10 秒一次的频率向它已知的所有master,slave发送 INFO 命令 
    
    * 当master被sentinel标记为客观下线时,sentinel向下线的master的所有slave发送 INFO 命令的频率会从 10 秒一次改为 1 秒一次 
    
    * 若没有足够数量的sentinel同意master已经下线,master的客观下线状态就会被移除;若master重新向sentinel的 PING 命令返回有效回复,master的主观下线状态就会被移除

    当使用sentinel模式的时候,客户端就不要直接连接Redis,而是连接sentinel的ip和port,由sentinel来提供具体的可提供服务的Redis实现,这样当master节点挂掉以后,sentinel就会感知并将新的master节点提供给使用者。

    3)Sentinel模式搭建

    # 环境准备

    master节点            192.168.182.129         sentinel端口:26379
    
    slave节点             192.168.182.130         sentinel端口:26379
    
    slave节点             192.168.182.131         sentinel端口:26379

    # 修改配置,前面已经下载安装了redis,这里省略,直接修改sentinel配置文件

    配置3个哨兵,每个哨兵的配置都是一样的

    $ vim /usr/local/redis/sentinel.conf
    
    daemonize yes
    logfile "/usr/local/redis/sentinel.log"
    dir "/usr/local/redis/sentinel"                                  # sentinel工作目录
    sentinel monitor mymaster 192.168.182.129 6379 2                 # 判断master失效至少需要2个sentinel同意,建议设置为n/2+1,n为sentinel个数
    sentinel auth-pass mymaster 123456
    sentinel down-after-milliseconds mymaster 30000                  # 判断master主观下线时间,默认30s

    # 全部启动sentinel

    mkdir /usr/local/redis/sentinel && chown -R redis:redis /usr/local/redis
    /usr/local/bin/redis-sentinel /usr/local/redis/sentinel.conf

    # 任一主机查看日志

    $ tail -f /usr/local/redis/sentinel.log
    
    9022:X 29 Mar 2020 12:08:33.180 # oO0OoO0OoO0Oo Redis is starting oO0OoO0OoO0Oo
    9022:X 29 Mar 2020 12:08:33.180 # Redis version=5.0.4, bits=64, commit=00000000, modified=0, pid=9022, just started
    9022:X 29 Mar 2020 12:08:33.180 # Configuration loaded
    9023:X 29 Mar 2020 12:08:33.181 * Increased maximum number of open files to 10032 (it was originally set to 1024).
    9023:X 29 Mar 2020 12:08:33.185 * Running mode=sentinel, port=26379.
    9023:X 29 Mar 2020 12:08:33.185 # WARNING: The TCP backlog setting of 511 cannot be enforced because /proc/sys/net/core/somaxconn is set to the lower value of 128.
    9023:X 29 Mar 2020 12:08:33.187 # Sentinel ID is 769e65e468afa221a1a83f7bd5c526252026d0ed
    9023:X 29 Mar 2020 12:08:33.187 # +monitor master mymaster 192.168.182.129 6379 quorum 2
    9023:X 29 Mar 2020 12:08:33.188 * +slave slave 192.168.182.131:6379 192.168.182.131 6379 @ mymaster 192.168.182.129 6379
    9023:X 29 Mar 2020 12:08:33.188 * +slave slave 192.168.182.130:6379 192.168.182.130 6379 @ mymaster 192.168.182.129 6379

    # Sentinel模式下的几个事件

    ·       +reset-master :主服务器已被重置。
    
    ·       +slave :一个新的从服务器已经被 Sentinel 识别并关联。
    
    ·       +failover-state-reconf-slaves :故障转移状态切换到了 reconf-slaves 状态。
    
    ·       +failover-detected :另一个 Sentinel 开始了一次故障转移操作,或者一个从服务器转换成了主服务器。
    
    ·       +slave-reconf-sent :领头(leader)的 Sentinel 向实例发送了 [SLAVEOF](/commands/slaveof.html) 命令,为实例设置新的主服务器。
    
    ·       +slave-reconf-inprog :实例正在将自己设置为指定主服务器的从服务器,但相应的同步过程仍未完成。
    
    ·       +slave-reconf-done :从服务器已经成功完成对新主服务器的同步。
    
    ·       -dup-sentinel :对给定主服务器进行监视的一个或多个 Sentinel 已经因为重复出现而被移除 —— 当 Sentinel 实例重启的时候,就会出现这种情况。
    
    ·       +sentinel :一个监视给定主服务器的新 Sentinel 已经被识别并添加。
    
    ·       +sdown :给定的实例现在处于主观下线状态。
    
    ·       -sdown :给定的实例已经不再处于主观下线状态。
    
    ·       +odown :给定的实例现在处于客观下线状态。
    
    ·       -odown :给定的实例已经不再处于客观下线状态。
    
    ·       +new-epoch :当前的纪元(epoch)已经被更新。
    
    ·       +try-failover :一个新的故障迁移操作正在执行中,等待被大多数 Sentinel 选中(waiting to be elected by the majority)。
    
    ·       +elected-leader :赢得指定纪元的选举,可以进行故障迁移操作了。
    
    ·       +failover-state-select-slave :故障转移操作现在处于 select-slave 状态 —— Sentinel 正在寻找可以升级为主服务器的从服务器。
    
    ·       no-good-slave :Sentinel 操作未能找到适合进行升级的从服务器。Sentinel 会在一段时间之后再次尝试寻找合适的从服务器来进行升级,又或者直接放弃执行故障转移操作。
    
    ·       selected-slave :Sentinel 顺利找到适合进行升级的从服务器。
    
    ·       failover-state-send-slaveof-noone :Sentinel 正在将指定的从服务器升级为主服务器,等待升级功能完成。
    
    ·       failover-end-for-timeout :故障转移因为超时而中止,不过最终所有从服务器都会开始复制新的主服务器(slaves will eventually be configured to replicate with the new master anyway)。
    
    ·       failover-end :故障转移操作顺利完成。所有从服务器都开始复制新的主服务器了。
    
    ·       +switch-master :配置变更,主服务器的 IP 和地址已经改变。 这是绝大多数外部用户都关心的信息。
    
    ·       +tilt :进入 tilt 模式。
    
    ·       -tilt :退出 tilt 模式。
    View Code

    # master宕机演示

    192.168.182.129

    $ systemctl stop redis
    
    [root@host1 redis]# tail -f /usr/local/redis/sentinel.log
    9023:X 29 Mar 2020 12:29:53.503 # +failover-state-reconf-slaves master mymaster 192.168.182.129 6379
    9023:X 29 Mar 2020 12:29:53.602 * +slave-reconf-sent slave 192.168.182.130:6379 192.168.182.130 6379 @ mymaster 192.168.182.129 6379
    9023:X 29 Mar 2020 12:29:54.078 # -odown master mymaster 192.168.182.129 6379
    9023:X 29 Mar 2020 12:29:54.514 * +slave-reconf-inprog slave 192.168.182.130:6379 192.168.182.130 6379 @ mymaster 192.168.182.129 6379
    9023:X 29 Mar 2020 12:29:54.514 * +slave-reconf-done slave 192.168.182.130:6379 192.168.182.130 6379 @ mymaster 192.168.182.129 6379
    9023:X 29 Mar 2020 12:29:54.604 # +failover-end master mymaster 192.168.182.129 6379
    9023:X 29 Mar 2020 12:29:54.604 # +switch-master mymaster 192.168.182.129 6379 192.168.182.131 6379
    9023:X 29 Mar 2020 12:29:54.604 * +slave slave 192.168.182.130:6379 192.168.182.130 6379 @ mymaster 192.168.182.131 6379
    9023:X 29 Mar 2020 12:29:54.604 * +slave slave 192.168.182.129:6379 192.168.182.129 6379 @ mymaster 192.168.182.131 6379
    9023:X 29 Mar 2020 12:30:24.627 # +sdown slave 192.168.182.129:6379 192.168.182.129 6379 @ mymaster 192.168.182.131 6379

    从日志中可以看到,master已经从192.168.182.129转移到192.168.182.131上

    192.168.182.131上查看集群信息

    /usr/local/bin/redis-cli -h 192.168.182.131 -p 6379 -a 123456 info replication

    # 恢复:重新把192.168.182.129上进程启动

    systemctl start redis
    
    tail -f /usr/local/redis/sentinel.log

    # 查看集群信息

    [root@host1 redis]# /usr/local/bin/redis-cli -h 192.168.182.129 -p 6379 -a 123456 info replication
    Warning: Using a password with '-a' or '-u' option on the command line interface may not be safe.
    # Replication
    role:slave
    master_host:192.168.182.131
    master_port:6379
    master_link_status:down
    master_last_io_seconds_ago:-1
    master_sync_in_progress:0
    slave_repl_offset:1
    master_link_down_since_seconds:1585456643
    slave_priority:100
    slave_read_only:1
    connected_slaves:0
    master_replid:9b6b6d71664d51010ccf71b4a291af92399cd8c4
    master_replid2:0000000000000000000000000000000000000000
    master_repl_offset:0
    second_repl_offset:-1
    repl_backlog_active:0
    repl_backlog_size:1048576
    repl_backlog_first_byte_offset:0
    repl_backlog_histlen:0

    即使192.168.182.129重新启动redis服务,也是作为slave加入redis集群,192.168.182.131仍然是master。

    四、Cluster模式

    1)Cluster模式介绍

    1. sentinel模式基本可以满足一般生产的需求,具备高可用性。但是当数据量过大到一台服务器存放不下的情况时,主从模式或sentinel模式就不能满足需求了,这个时候需要对存储的数据进行分片,将数据存储到多个Redis实例中。cluster模式的出现就是为了解决单机Redis容量有限的问题,将Redis的数据根据一定的规则分配到多台机器。

    2. cluster可以说是sentinel+主从模式的结合体,通过cluster可以实现主从和master重选功能,所以如果配置两个副本三个分片的话,就需要六个Redis实例。因为Redis的数据是根据一定规则分配到cluster的不同机器的,当数据量过大时,可以新增机器进行扩容。

    3. 使用集群,只需要将redis配置文件中的cluster-enable配置打开即可。每个集群中至少需要三个主数据库才能正常运行,新增节点非常方便。

    2)cluster集群特点

    * 多个redis节点网络互联,数据共享
    
    * 所有的节点都是一主一从(也可以是一主多从),其中从不提供服务,仅作为备用
    
    * 不支持同时处理多个key(如MSET/MGET),因为redis需要把key均匀分布在各个节点上,并发量很高的情况下同时创建key-value会降低性能并导致不可预测的行为
      
    * 支持在线增加、删除节点
    
    * 客户端可以连接任何一个主节点进行读写

    # 环境准备

    三台机器,分别开启两个redis服务(端口)
    
    192.168.182.129              端口:7001,7002
    
    192.168.182.130              端口:7003,7004
    
    192.168.182.131              端口:7005,7006

    # 修改配置文件

    192.168.182.129

    mkdir /usr/local/redis/cluster
    
    cp /usr/local/redis/redis.conf /usr/local/redis/cluster/redis_7001.conf
    
    cp /usr/local/redis/redis.conf /usr/local/redis/cluster/redis_7002.conf
    
    chown -R redis:redis /usr/local/redis
    
    mkdir -p /data/redis/cluster/{redis_7001,redis_7002} && chown -R redis:redis /data/redis

    # 修改配置文件vim /usr/local/redis/cluster/redis_7001.conf

    bind 192.168.182.129
    port 7001
    daemonize yes
    pidfile "/var/run/redis_7001.pid"
    logfile "/usr/local/redis/cluster/redis_7001.log"
    dir "/data/redis/cluster/redis_7001"
    #replicaof 192.168.182.129 6379
    masterauth "123456"
    requirepass "123456"
    appendonly yes
    cluster-enabled yes
    cluster-config-file nodes_7001.conf
    cluster-node-timeout 15000

    # 修改配置文件vim /usr/local/redis/cluster/redis_7002.conf

    bind 192.168.182.129
    port 7002
    daemonize yes
    pidfile "/var/run/redis_7002.pid"
    logfile "/usr/local/redis/cluster/redis_7002.log"
    dir "/data/redis/cluster/redis_7002"
    #replicaof 192.168.182.131 6379
    masterauth "123456"
    requirepass "123456"
    appendonly yes
    cluster-enabled yes
    cluster-config-file nodes_7002.conf
    cluster-node-timeout 15000

    其它两台机器配置与192.168.182.129一致,只是ip不同,此处省略

    # 启动redis服务

    redis-server /usr/local/redis/cluster/redis_7001.conf
    
    tail -f /usr/local/redis/cluster/redis_7001.log
    
    redis-server /usr/local/redis/cluster/redis_7002.conf
    
    tail -f /usr/local/redis/cluster/redis_7002.log

    其它两台机器启动与192.168.182.129一致,此处省略

    # 创建集群

    # 我这里是redis5.0.4,所以不需要安装ruby,直接创建集群即可

    [root@host1 redis]# redis-cli -a 123456 --cluster create 192.168.182.129:7001 192.168.182.129:7002 192.168.182.130:7001 192.168.182.130:7002 192.168.182.131:7001 192.168.182.131:7002 --cluster-replicas 1
    Warning: Using a password with '-a' or '-u' option on the command line interface may not be safe.
    >>> Performing hash slots allocation on 6 nodes...
    Master[0] -> Slots 0 - 5460
    Master[1] -> Slots 5461 - 10922
    Master[2] -> Slots 10923 - 16383
    Adding replica 192.168.182.130:7002 to 192.168.182.129:7001
    Adding replica 192.168.182.131:7002 to 192.168.182.130:7001
    Adding replica 192.168.182.129:7002 to 192.168.182.131:7001
    M: 2b89f586bfe1f90b98ef490aafd2ae4535bc4a54 192.168.182.129:7001
       slots:[0-5460] (5461 slots) master
    S: 6e8006eee7991ee52339c4e4732a29e6bdff497e 192.168.182.129:7002
       replicates 5a2c1bdb65cdbf8f072e03d3f24963d3406fdbf3
    M: 8b37c09a970998f3605b70bd66b1631837a984dd 192.168.182.130:7001
       slots:[5461-10922] (5462 slots) master
    S: 28f6a14c4410b3befe7942a6d60c97fd83e24fdd 192.168.182.130:7002
       replicates 2b89f586bfe1f90b98ef490aafd2ae4535bc4a54
    M: 5a2c1bdb65cdbf8f072e03d3f24963d3406fdbf3 192.168.182.131:7001
       slots:[10923-16383] (5461 slots) master
    S: 7acbd9438ada117f7bd8207c98af9ba0534cc914 192.168.182.131:7002
       replicates 8b37c09a970998f3605b70bd66b1631837a984dd
    Can I set the above configuration? (type 'yes' to accept): yes    # 输入yes,接受上面配置
    >>> Nodes configuration updated
    >>> Assign a different config epoch to each node
    >>> Sending CLUSTER MEET messages to join the cluster
    Waiting for the cluster to join
    .....
    >>> Performing Cluster Check (using node 192.168.182.129:7001)
    M: 2b89f586bfe1f90b98ef490aafd2ae4535bc4a54 192.168.182.129:7001
       slots:[0-5460] (5461 slots) master
       1 additional replica(s)
    M: 8b37c09a970998f3605b70bd66b1631837a984dd 192.168.182.130:7001
       slots:[5461-10922] (5462 slots) master
       1 additional replica(s)
    S: 6e8006eee7991ee52339c4e4732a29e6bdff497e 192.168.182.129:7002
       slots: (0 slots) slave
       replicates 5a2c1bdb65cdbf8f072e03d3f24963d3406fdbf3
    S: 7acbd9438ada117f7bd8207c98af9ba0534cc914 192.168.182.131:7002
       slots: (0 slots) slave
       replicates 8b37c09a970998f3605b70bd66b1631837a984dd
    S: 28f6a14c4410b3befe7942a6d60c97fd83e24fdd 192.168.182.130:7002
       slots: (0 slots) slave
       replicates 2b89f586bfe1f90b98ef490aafd2ae4535bc4a54
    M: 5a2c1bdb65cdbf8f072e03d3f24963d3406fdbf3 192.168.182.131:7001
       slots:[10923-16383] (5461 slots) master
       1 additional replica(s)
    [OK] All nodes agree about slots configuration.
    >>> Check for open slots...
    >>> Check slots coverage...
    [OK] All 16384 slots covered.

    # 自动生成nodes.conf文件

    [root@host1 redis]# ls /data/redis/cluster/redis_7001/
    appendonly.aof dump.rdb nodes_7001.conf

    3)集群操作

    # 登录集群

    redis-cli -c -h 192.168.182.129 -p 7001 -a 123456

    # 查看集群信息

    redis-cli -c -h 192.168.182.129 -p 7001 -a 123456 CLUSTER INFO

    # 列出节点信息

    redis-cli -c -h 192.168.182.129 -p 7001 -a 123456 CLUSTER NODES

    这里与nodes.conf文件内容相同

    4)增加节点

    # 192.168.182.130上增加一节点

    $ cp /usr/local/redis/cluster/redis_7002.conf /usr/local/redis/cluster/redis_7003.conf
    $ vim /usr/local/redis/cluster/redis_7003.conf
    
    bind 192.168.182.130
    port 7003
    daemonize yes
    pidfile "/var/run/redis_7003.pid"
    logfile "/usr/local/redis/cluster/redis_7003.log"
    dir "/data/redis/cluster/redis_7003"
    #replicaof 192.168.182.131 6379
    masterauth "123456"
    requirepass "123456"
    appendonly yes
    cluster-enabled yes
    cluster-config-file nodes_7003.conf
    cluster-node-timeout 15000

    $ mkdir /data/redis/cluster/redis_7003

    $ chown -R redis:redis /usr/local/redis && chown -R redis:redis /data/redis

    $ redis-server /usr/local/redis/cluster/redis_7003.conf

    192.168.182.131上增加一节点,跟上面配置一致,此处省略

    # 集群中增加节点

    192.168.182.129:7001> CLUSTER MEET 192.168.182.130 7003
    OK
    
    192.168.182.129:7001> CLUSTER MEET 192.168.182.131 7003
    OK
    
    192.168.182.129:7001> CLUSTER NODES
    8b37c09a970998f3605b70bd66b1631837a984dd 192.168.182.130:7001@17001 master - 0 1585462561000 3 connected 5461-10922
    6e8006eee7991ee52339c4e4732a29e6bdff497e 192.168.182.129:7002@17002 slave 5a2c1bdb65cdbf8f072e03d3f24963d3406fdbf3 0 1585462559281 5 connected
    2b89f586bfe1f90b98ef490aafd2ae4535bc4a54 192.168.182.129:7001@17001 myself,master - 0 1585462558000 1 connected 0-5460
    7acbd9438ada117f7bd8207c98af9ba0534cc914 192.168.182.131:7002@17002 slave 8b37c09a970998f3605b70bd66b1631837a984dd 0 1585462561000 6 connected
    28f6a14c4410b3befe7942a6d60c97fd83e24fdd 192.168.182.130:7002@17002 slave 2b89f586bfe1f90b98ef490aafd2ae4535bc4a54 0 1585462562000 4 connected
    3609d9cbc067de02265e69540bcad649edd80b43 192.168.182.131:7003@17003 master - 0 1585462562301 7 connected
    bf08ee348f9792a3bd7d18ede019d9f65472c98b 192.168.182.130:7003@17003 master - 0 1585462561000 0 connected
    5a2c1bdb65cdbf8f072e03d3f24963d3406fdbf3 192.168.182.131:7001@17001 master - 0 1585462563308 5 connected 10923-16383
    

    可以看到,新增的节点都是以master身份加入集群的

    # 更换节点身份

    # 将新增的192.168.182.131:7003节点身份改为192.168.182.130:7003的slave

    redis-cli -c -h 192.168.182.131 -p 7003 -a 123456 cluster replicate bf08ee348f9792a3bd7d18ede019d9f65472c98b

    cluster replicate后面跟node_id,更改对应节点身份。也可以登入集群更改

    # 查看相应的nodes.conf文件,可以发现有更改,它记录当前集群的节点信息

    192.168.182.131:7003> CLUSTER NODES
    8b37c09a970998f3605b70bd66b1631837a984dd 192.168.182.130:7001@17001 master - 0 1585463048000 3 connected 5461-10922
    bf08ee348f9792a3bd7d18ede019d9f65472c98b 192.168.182.130:7003@17003 master - 0 1585463047808 0 connected
    6e8006eee7991ee52339c4e4732a29e6bdff497e 192.168.182.129:7002@17002 slave 5a2c1bdb65cdbf8f072e03d3f24963d3406fdbf3 0 1585463048000 5 connected
    5a2c1bdb65cdbf8f072e03d3f24963d3406fdbf3 192.168.182.131:7001@17001 master - 0 1585463050000 5 connected 10923-16383
    28f6a14c4410b3befe7942a6d60c97fd83e24fdd 192.168.182.130:7002@17002 slave 2b89f586bfe1f90b98ef490aafd2ae4535bc4a54 0 1585463049822 1 connected
    7acbd9438ada117f7bd8207c98af9ba0534cc914 192.168.182.131:7002@17002 slave 8b37c09a970998f3605b70bd66b1631837a984dd 0 1585463048000 3 connected
    3609d9cbc067de02265e69540bcad649edd80b43 192.168.182.131:7003@17003 myself,slave bf08ee348f9792a3bd7d18ede019d9f65472c98b 0 1585463046000 7 connected
    2b89f586bfe1f90b98ef490aafd2ae4535bc4a54 192.168.182.129:7001@17001 master - 0 1585463046000 1 connected 0-5460

    # 删除节点

    192.168.182.131:7003> CLUSTER FORGET bf08ee348f9792a3bd7d18ede019d9f65472c98b
    (error) ERR Can't forget my master!   # 不能删除本身的master节点
    192.168.182.131:7003> CLUSTER FORGET 2b89f586bfe1f90b98ef490aafd2ae4535bc4a54 # 可以删除其它节点上的master
    OK
    192.168.182.131:7003>

    # 保存配置

    192.168.182.131:7003> CLUSTER SAVECONFIG  
    OK
    192.168.182.131:7003> CLUSTER NODES
    8b37c09a970998f3605b70bd66b1631837a984dd 192.168.182.130:7001@17001 master - 0 1585463364080 3 connected 5461-10922
    bf08ee348f9792a3bd7d18ede019d9f65472c98b 192.168.182.130:7003@17003 master - 0 1585463366093 0 connected
    6e8006eee7991ee52339c4e4732a29e6bdff497e 192.168.182.129:7002@17002 slave 5a2c1bdb65cdbf8f072e03d3f24963d3406fdbf3 0 1585463368108 5 connected
    5a2c1bdb65cdbf8f072e03d3f24963d3406fdbf3 192.168.182.131:7001@17001 master - 0 1585463366000 5 connected 10923-16383
    28f6a14c4410b3befe7942a6d60c97fd83e24fdd 192.168.182.130:7002@17002 slave 2b89f586bfe1f90b98ef490aafd2ae4535bc4a54 0 1585463365087 1 connected
    7acbd9438ada117f7bd8207c98af9ba0534cc914 192.168.182.131:7002@17002 slave 8b37c09a970998f3605b70bd66b1631837a984dd 0 1585463367102 3 connected
    2b89f586bfe1f90b98ef490aafd2ae4535bc4a54 192.168.182.129:7001@17001 master - 0 1585463363000 1 connected 0-5460
    3609d9cbc067de02265e69540bcad649edd80b43 192.168.182.131:7003@17003 myself,slave bf08ee348f9792a3bd7d18ede019d9f65472c98b 0 1585463366000 7 connected

    可以看到,之前删除的节点又恢复了,这是因为对应的配置文件没有删除,执行CLUSTER SAVECONFIG恢复。

    # 模拟master节点挂掉

    [root@host1 redis]# netstat -lntp |grep 7001
    tcp        0      0 192.168.182.129:7001    0.0.0.0:*               LISTEN      11567/redis-server  
    tcp        0      0 192.168.182.129:17001   0.0.0.0:*               LISTEN      11567/redis-server

    [root@host1 redis]# kill 11567
    [root@host1 redis]# netstat -lntp |grep 7001

    [root@host1 redis]# redis-cli -c -h 192.168.182.130 -p 7001 -a 123456 CLUSTER NODES
    Warning: Using a password with '-a' or '-u' option on the command line interface may not be safe.
    3609d9cbc067de02265e69540bcad649edd80b43 192.168.182.131:7003@17003 slave bf08ee348f9792a3bd7d18ede019d9f65472c98b 0 1585463568000 7 connected
    6e8006eee7991ee52339c4e4732a29e6bdff497e 192.168.182.129:7002@17002 slave 5a2c1bdb65cdbf8f072e03d3f24963d3406fdbf3 0 1585463571000 5 connected
    28f6a14c4410b3befe7942a6d60c97fd83e24fdd 192.168.182.130:7002@17002 master - 0 1585463569000 8 connected 0-5460
    2b89f586bfe1f90b98ef490aafd2ae4535bc4a54 192.168.182.129:7001@17001 master,fail - 1585463511155 1585463507125 1 disconnected
    5a2c1bdb65cdbf8f072e03d3f24963d3406fdbf3 192.168.182.131:7001@17001 master - 0 1585463571000 5 connected 10923-16383
    bf08ee348f9792a3bd7d18ede019d9f65472c98b 192.168.182.130:7003@17003 master - 0 1585463571577 0 connected
    8b37c09a970998f3605b70bd66b1631837a984dd 192.168.182.130:7001@17001 myself,master - 0 1585463567000 3 connected 5461-10922
    7acbd9438ada117f7bd8207c98af9ba0534cc914 192.168.182.131:7002@17002 slave 8b37c09a970998f3605b70bd66b1631837a984dd 0 1585463572585 6 connected

    对应192.168.182.129:7001的一行可以看到,master fail,状态为disconnected;而对应192.168.182.130:7002的一行,slave已经变成master。

    # 重新启动192.168.182.129:7001节点

    [root@host1 redis]# redis-server /usr/local/redis/cluster/redis_7001.conf
    [root@host1 redis]# redis-cli -c -h 192.168.182.130 -p 7001 -a 123456 CLUSTER NODES
    Warning: Using a password with '-a' or '-u' option on the command line interface may not be safe.
    3609d9cbc067de02265e69540bcad649edd80b43 192.168.182.131:7003@17003 slave bf08ee348f9792a3bd7d18ede019d9f65472c98b 0 1585463951288 7 connected
    6e8006eee7991ee52339c4e4732a29e6bdff497e 192.168.182.129:7002@17002 slave 5a2c1bdb65cdbf8f072e03d3f24963d3406fdbf3 0 1585463953301 5 connected
    28f6a14c4410b3befe7942a6d60c97fd83e24fdd 192.168.182.130:7002@17002 master - 0 1585463954311 8 connected 0-5460
    2b89f586bfe1f90b98ef490aafd2ae4535bc4a54 192.168.182.129:7001@17001 slave 28f6a14c4410b3befe7942a6d60c97fd83e24fdd 0 1585463949576 8 connected
    5a2c1bdb65cdbf8f072e03d3f24963d3406fdbf3 192.168.182.131:7001@17001 master - 0 1585463952293 5 connected 10923-16383
    bf08ee348f9792a3bd7d18ede019d9f65472c98b 192.168.182.130:7003@17003 master - 0 1585463951000 0 connected
    8b37c09a970998f3605b70bd66b1631837a984dd 192.168.182.130:7001@17001 myself,master - 0 1585463952000 3 connected 5461-10922
    7acbd9438ada117f7bd8207c98af9ba0534cc914 192.168.182.131:7002@17002 slave 8b37c09a970998f3605b70bd66b1631837a984dd 0 1585463949000 6 connected

    可以看到,192.168.182.129:7001节点启动后为slave节点,并且是192.168.182.130:7002的slave节点。即master节点如果挂掉,它的slave节点变为新master节点继续对外提供服务,而原来的master节点如果重启,则变为新master节点的slave节点。

    另外,如果这里是拿192.168.182.130:7003节点做测试的话,会发现192.168.182.131:7003节点并不会切换,这是因为192.168.182.130:7003节点上根本没数据。集群数据被分为三份,采用哈希槽 (hash slot)的方式来分配16384个slot的话,它们三个节点分别承担的slot 区间是:

    节点192.168.182.130:7002覆盖0-5460
    节点192.168.182.130:7001覆盖5461-10922
    节点192.168.182.131:7001覆盖10923-16383

    5)集群客户端命令(redis-cli -c -p port)

    集群
    cluster info :打印集群的信息
    cluster nodes :列出集群当前已知的所有节点( node),以及这些节点的相关信息。
    节点
    cluster meet <ip> <port> :将 ip 和 port 所指定的节点添加到集群当中,让它成为集群的一份子。
    cluster forget <node_id> :从集群中移除 node_id 指定的节点。
    cluster replicate <node_id> :将当前节点设置为 node_id 指定的节点的从节点。
    cluster saveconfig :将节点的配置文件保存到硬盘里面。
    槽(slot)
    cluster addslots <slot> [slot ...] :将一个或多个槽( slot)指派( assign)给当前节点。
    cluster delslots <slot> [slot ...] :移除一个或多个槽对当前节点的指派。
    cluster flushslots :移除指派给当前节点的所有槽,让当前节点变成一个没有指派任何槽的节点。
    cluster setslot <slot> node <node_id> :将槽 slot 指派给 node_id 指定的节点,如果槽已经指派给
    另一个节点,那么先让另一个节点删除该槽>,然后再进行指派。
    cluster setslot <slot> migrating <node_id> :将本节点的槽 slot 迁移到 node_id 指定的节点中。
    cluster setslot <slot> importing <node_id> :从 node_id 指定的节点中导入槽 slot 到本节点。
    cluster setslot <slot> stable :取消对槽 slot 的导入( import)或者迁移( migrate)。
    
    cluster keyslot <key> :计算键 key 应该被放置在哪个槽上。
    cluster countkeysinslot <slot> :返回槽 slot 目前包含的键值对数量。
    cluster getkeysinslot <slot> <count> :返回 count 个 slot 槽中的键  

    ~~~以上就是redis集群的部署步骤~~~

  • 相关阅读:
    Vue 下拉刷新及无限加载组件
    VUE常用问题hack修改
    CSS滤镜让图片模糊(毛玻璃效果)实例页面
    滑动删除
    拖动选择单元格并合并方法
    Windows7上开启ftp服务器功能
    js 向上滚屏
    理解Clip Path
    图标制作
    transition实现图片轮播
  • 原文地址:https://www.cnblogs.com/liugp/p/12591721.html
Copyright © 2020-2023  润新知