• redis主从架构,分片集群详解


    写在前面

    这边文章的排版时后面补的,所以看起来不太光鲜亮丽,忘周知。

    :这篇笔记有点长,如果你认真看完,收获会不少,如果你只是忘记了相关命令,请翻到末尾。

    redis的简单介绍:

      一个提供多种数据类类型储存,整个系统都在内存中运行的,

      定期通过异步的方式把数据刷到磁盘进行保存的一个内存数据库

      因为实在内存中操作数据,所以效率非常高,但受制于物理内存的限制,一般用作处理少量数据的高性能操作;

    Redis的单机搭建

      首先安装依赖:

    yum -y install cpp binutils glibc glibc-kernheaders glibc-common glibc-devel gcc make gcc-c++ libstdc++-devel tcl

      创建文件夹,将rediss上传到该文件夹内,并进行解压:

    tar -xvf redis-3.0.2.tar.gz

      获得解压文件

     img

      进入到解压文件 进行先编译 , 然后安装 :

    make (编译) , make install (安装)

      把配置文件复制一份到上一级目录(以配置文件驱动redis,完成多个redis服务的启动):

     img

      感觉那个压缩包有点扎眼睛,心狠手辣的删掉它,现在编程这样

     img

      准备后台启动redis,修改配置文件 redis .conf如下所示,保存后退出:

     img

      启动redis,因为是后台启动,所以没什么反应,我们查询进程看看是否启动:

     img

      我们运行客户端测试一把,是否 ping 通: redis-cli

     img

    好!上面已经将 redis 安装到了我们的服务器,下面开始搭建 redis的主从复制(读写分离):

    Redis的主从复制搭建

    首先说说主从复制的好处是什么:

    • 避免单点故障,预防一个redis挂掉后,redis插槽有空挡,导致集群不可用

    • 构建读写分离架构,满足读多写少的的场景(数据库80%的操作都是在读取,这句话是谁说的?)

    Redis主从环境搭建

    开始操作,我们需要启动三台 redis 服务,完成主从架构:

      redis 默认的端口为6379 ,我们创建三个目录,放着三个配置文件,分别代表不同的端口:

      并把配置文件分别复制进这三个端口所代表的目录:

        

      然后分别修改三个文件夹中的配置文件,我们把6379端口的 redis 服务设为 主,其他两个为从

        

        

      然后以配置文件方式 依次启动三个 redis 服务:

        

      启动客户端分别对三个服务进行测试:

        

      设置主从关系一共有两种方式,:

    • 第一种为在 redis.conf 中配置 ,永久生效 slaveof <主ip> <主端口>

    • 第二种为在redis-cli 中键入,重启服务失效 slaveof <主ip> <主端口>

      今天我们测试采用第二种,因为后面还有其他的演示,生产环境下应该使用第一种 永久性配置

       我们以6379 做为主 其他两个作为从,完成一下操作

        

        

       登录 6379 的客户端 查看主从信息:

        

       在主库写入和读取数据测试:

        

       我们把数据存放到了 端口为6379 的主库,做了主从,我们就能在从库中把数据拿出来

          

      上面我们演示了 主从架构,下面我们演示,主从从架构(链式主从)

        使用 kill -9 命令杀死刚刚我启动的三个 redis 服务,取消刚刚建立的暂时的主从关系:

         下面我们建立 6381以 6380 为主,6380 以 6379 为主的链式主从从架构

            6381 ——> 6780 ——> 6379

      重启服务后,开始搭建我们的主从从架构:

       还记得我们刚刚搭建主从的命令吗? slaveof <主ip> <主端口>

        6381 以6380 为主:

         

        6380 以 6379 为主 :

         

        我们来到 6379 主库查看 主从信息

         

        随后我们再来到6380,看看主从情况:

         

        最后一个6381,作为从库,我们就不看了,下面我们再6379 中存取的读取数据测试 (没毛病)

         

        默认情况下从库是不能写入输入的,如要要开启需要配置文件中开启,非只读:

           slave-read-only no

    Redis主从复制,数据一致性原理

    说说原理:为什么我们建立主从架构后,在主库中的数据 可以在从库中获取呢?   

    • 当从库和主库建立MS关系后,从库会向主数据库发送PSYNC命令;

    • 主库接收到PSYNC命令后会开始在后台保存快照(RDB),并缓存该期间的命令;

    • 当快照完成后,主Redis会将快照文件和所有缓存的写命令发送给从Redis;

    • 从Redis接收到后,会载入快照文件并且执行收到的缓存的命令;

    • 之后,主Redis每当接收到写命令时就会将命令发送从Redis,从而保证数据的一致;

    注意:数据是持久化到磁盘,从库redis 加载数据,完成数据同步,中间涉及到磁盘IO

    现在可以通过开启无磁盘复制完成数据同步 : repl-diskless-sync yes

    原理是不持久化数据到磁盘,直接通过网络发送给 从redis,避免IO性能差(还在测试阶段,不稳定)      

    常见问题:服务宕机 处理手段:

    • 如果是从库redis 宕机,直接重启,会自动加入主从架构,并自动通过增量复制完成数据同步

    • 如果是主库宕机:选择一个从库断掉主从关系,并将自身提升为主库提供服务 : SLAVEOF NO ONE

    • 重启挂掉的服务,通过 SLAVEOF ip port 将其设置为其他从库的从库,保持主从架构

    哨兵机制

    在上面的主从架构中,主服务宕机没我们得手动重启并加入,这就显得很麻烦,redis有个哨兵机制,可以自动应对上述情况:

      哨兵的主要作用:监控redis服务是否正常运行,如果 主reids 宕机,在从库中选取 leader 当新的主库:

      单个哨兵的监控:只监控 master ,自动发现master 下的 slave

      多个哨兵的监控:在监控master时,还会互相监督;

      下面来看看一主多从下 哨兵的表现:

         以 6379 为主 6380 6381 均为 6379 的从,在刚刚的环境下 只需修改6381 重新绑定6379 为主即可:

         

        进入redis 的解压目录 编辑 sentinel.conf 配置文件,追加一个配置 :sentinel monitor MyMaster 127.0.0.1 6379 1

         

        解释: MyMster : 自定义监听主数据的名称

           127.0.0.1:监控主数据的 IP

            6379 :监控主数据的 port

            1   : 最低通过票数     

       配置完成后,启动哨兵: redis-sentinel ./sentinel.conf

         

       接下来,我们先让从库 6381 宕机,观察哨兵反应如何

         我估计 +sdown 为shutdown的意思 关闭

        

       我们重启 6381 ,看哨兵反应: reboot : 重新启动 | conver -to slave :使其转变为从库

        

       从库已经试过了,我们再来试试主库宕机会怎么样:    img

       然后我们重启 6379,看看反应:    img

       可以看到 6379 和 6381 都已经成为了 6380 的从库,自动完成主从架构

        

    好了,哨兵也就讲到这儿了,下面来架设redis3.0 的自带的分片集群。

    Redis3.0的分片集群

    环境搭建前的清道夫

        所有redis节点互联,超过半数以上的节点检测为失效,才确认为失效,客户端随意连接一个redis即可

        参与集群的redis 分摊 16384 个插槽

      首先。我们把刚刚搭建的所有redis的服务全部 kill 掉,

      删除RDB持久化文件,搭建集群时,所有的 redis 均无数据,为空的

        

      进入三个 redis 修改配置文件: 注意改端口,随后启动启动全部redis 服务

        

      除了点小意味,启动报错不能再slaveof 下开启集群 我把配置文件删掉重新刷了一份,

      按理说我关闭服务后 ,主从架构应该消失啊,但是我在创建集群时,主从架构还在,

        所以配置文件: 修改端口——开启后台启动——开启集群—— 开启并修改集群配置文件后启动:

         

        因为我们开启集群的配置文件,所以现在目录是这样的了

          

        接下来安装 ruby 环境: yum -y install zlib ruby rubygems

        rz上传 redis-3.2.1.gem: gem install -l redis-3.2.1.gem

     集群环境搭建

    • 进入到 redis 的解压目录:ll /usr/src/redis/redis-3.0.2/src/

    • ./redis-trib.rb create --replicas 0 192.168.41.130:6379 192.168.41.130:6380 192.168.41.130:6381

      • replicas 0 : 表示从库数量为 0

      • 后面跟三个要加入集群的机器的 IP Port

    • 注意:ifconfig 查看虚拟机的 ip 这里不能使用127.0.0.1 ,否则 jedis 客户端连接不上

    创建集群:        img

    插入数据和获取数据测试:

    提示:现在我们不能再使用 redis-cli 来插入数据,因为集群的每个 redis 都有自己的插槽值,

    当我们插入一个数据时,不知道 key 的 hash 值是多少,可能该key对应的hash槽不在此区间

    我们的6379 的插槽数区间为 0-5460 ,而 abc 的 hash对应的槽所在的redis 应该为 6380 ( 列子)

              

    我们再去6380,插入这条数据,就能成功,但是这样显得就很搓了,

    使用 redis-cli -p 6379 -c 连接集群中的6379端口的机器, c: cluster

    存入值的时候,自动为我们重定向了 redis

              

    我们登录6381 客户端 redis-cli -p 6381 -c 获取数据,也是给我吗自动定向到了6380:

    现在可以随意插入和获取数据了

              

    要吃饭了,先搁置一下,吃完饭再续,好了,睡觉之前把它总结完。

    下面我们来查看集群信息,随便选取一个节点,通过 : cluster nodes

          img

    其中显示的信息有每个节点的 id , redis的ip port 和身份,连接数,插槽区间;

    当我们往集群中插入一条数据时,执行流程为:

    • 首先计算出 key 的插槽值,计算出hash值对 16384取余,得到插槽值

    • 然后根据插槽值找到对应的 redis 节点,

    • 定向到高节点执行插入的命令;

    • 整个集群包含16384个插槽点,被 ./redis-trib.rb 脚本均分给参加集群的 机器节点

    Redis的节点的增删

    集群环境我们已经搭建好了,下面我们来实现 redis 节点的 增 删:

      增加节点:

    我们再创建一个 6382 端口的redis 服务,

    主要修改配置文件中的 :开启后台启动,修改端口,打开集群,打开并修改 集群配置文件,直接启动

        

    进入redis的解压文件 src/,执行脚本,指定加入集群的随便一个节点的 ip 和 port 即可

    cd /usr/src/redis/redis-3.0.2/src/

    执行脚本 : ./redis-trib.rb add-node 192.168.41.130:6382 192.168.41.130:6379

    第一个 IP port 为要加入集群的redis 的IP和port 第二个为已在集群中的随意一台机器的 IP和port

        

    我们再次查看集群信息:随便选取一个节点

     img

    集群虽然已经加入,但是并没有自动分配插槽给该节点,我们手动从其他节点(6379) ,划分一点过来

    ./redis-trib.rb reshard 192.168.41.130:6381(没截到图,用的资料上的图)

    给定要分配的插槽数就,比如给 1000

    输入接受高插槽数的一个redis 的节点ID

          

    然后通过其他随意一个节点查看集群信息: cluster nodes

    总结步骤:

    • 启动服务——> 使用 redis-trib.rb add-node 添加到集群 ——> 分配插槽redis-trib.rb reshard

    删除节点:

    • 删除一个节点首先就得把它所有的节点拨给其他的节点,比如我们要删除 6382 节点

    • 我们就应该把 6382节点上的插槽 拨出去 列子中我们拨给 6381,最后必须采用done 类型拨出去

          

    • 然后我们观察集群的相关信息: 6382 没有插槽点了

            

    • 删除节点:./redis-trib.rb del-node 192.168.41.130:6380 ac7bc0b959dcd7a588d573d5ee8b78ab39368d0b

      • 格式为:del-onde ip :port node_id

    • 查看集群节点信息:发现6382节点已经被我们删除了

            

    集群到这里就结束了,但是离我们的高并发和高可用还有一截路,下面我们来说说:

      1、 集群中的每个节点都会定期的向其它节点发送PING命令,并且通过有没有收到回复判断目标节点是否下线;

      2、 集群中每一秒就会随机选择5个节点,然后选择其中最久没有响应的节点放PING命令;

      3、 如果一定时间内目标节点都没有响应,那么该节点就认为目标节点疑似下线

      4、 当集群中的节点超过半数认为该目标节点疑似下线,那么该节点就会被标记为下线**(fail)**;

      5、 当集群中的任何一个节点下线,就会导致插槽区有空档,不完整,那么该集群将不可用;

      6、 如何解决上述问题?

        a) 在Redis集群中可以使用主从模式实现某一个节点的高可用

        b) 当该节点(master)宕机后,集群会将该节点的从数据库(slave)转变为(master)继续完成集群服务;

    集群+主从=高可用、高性能、高并发

    下面引出 “集群下的主从复制”,三台master搭建集群,分别为每一台master 做一个主从架构,6台服务

    6379,6380,6381 为主 ,搭建集群

    6382,6383,6384 为从,大家主从

        

    2019年4月17日 00:13:51 先休息了,明天补完....

     开始搭建集群架构:

    • ./redis-trib.rb create --replicas 1 192.168.41.130:6379 192.168.41.130:6380 192.168.41.130:6381 192.168.41.130:6382 192.168.41.130:6383 192.168.41.130:6384

      • 1:代表从库数量为1

      • 前三个 IP port : 依次为构建集群的三台机器的 IP port

      • 后三个 IP port : 依次为为前面机器搭建主从的机器的 IP port

    然后我就报错了,如下所示:

         

    • 这个问题来自于:你重新建立集群,但是你的 rdb持久化文件 以及 node-xxx.conf 没有删除干净,

    • 如果还不行,登录后刷一下数据 : flushdb

    • 再次执行搭建主从集群:

         

    • 查看集群信息 : cluster nodes

        

    • 接下来用数据说话:

        

    • 运行一切正常,下面可是测试 该环境下的高可用性:

    如果从库宕机 (6384),看效果:

          

    我们再次获取数据,观察集群是否可用:

          

    我们重启挂掉的从库机器: 自动加入集群中的主从架构

          

    下面我们测试 主库宕机(6380),观察变化:

          连接被拒绝 ???

            

          我换一个机器试试:因为6380端口机器被挂掉了,我刚刚实在6380键入命令,所以失效

            

    上面可以看出,6380 (Master)是 fail 状态,但是我们依旧能够获取到数据,集群可用;

    你再看看 是不是除了 6380 宕机的Master 外,好像 6383 也是Master 了?

    因为Master (6380 ) 对应的 从库就是 Slave (6383),当主库挂掉后,提升从库为主库,继续对外提供服务,

    下面,我们重启挂掉的 6380,看看它是否会造反?

            

            

    可以看出 6380,在经过一番宕机重启后,已经变为6383的从库,继续加入集群保持主从架构;

      集群到这里也说完了,下面说说 在这个过程中常用的命令。

    常用命令

    • redis-server ./xxx/redis.conf  : 以配置文件启动 redis 服务

    • redis-cli -p 6379        : 启动 redis 客户端,连接6379 服务

    • redis-cli -p 6379 -c       : 启动 redis 客户端,连接在集群中的 6379 服务

    • info plication         : 查看当前节点的信息,角色? 主库与从库相关信息

    • cluster nodes         : 在集群环境某个节点中使用,查看当前集群的机器信息

    • slaveof <master Ip><Master Port> : 暂时建立主从关系,在配置文件可长久配置 (生产环境都是长久配置)  

    • ./redis-trib.rb create --replicas 0 ip:port ip:port ip:port :创建集群 从库为0

    • ./redis-trib.rb create --replicas 1 ip:port ip:port ip:port ip:port ip:port ip:port :集群+主从

    • ./redis-trib.rb add-node <new-node_IP :port> 集群服务机器_ip:port : 为集群添加 节点  

    • ./redis-trib.rb del-node <ip : port> node_id  : 集群下删除某个节点,需要吧插槽拨出去

    • kill -9 server_id        : 杀死 Server_id 的服务进程 

    • ps auxf|grep redis |grep -v grep|xargs kill -9 : 杀死所有与 redis 相关的进程服务

    基本上就是这些了吧,终于快写完了!!!

      使用集群注意:  

        多键的命令操作(如MGET、MSET),如果每个键都位于同一个节点,则可以正常支持,否则会提示错误。

        集群中的节点只能使用0号数据库,如果执行SELECT切换数据库会提示错误。

     

  • 相关阅读:
    书单
    [转载] 修改WIN10的DNS、以及操作系统和 Web 浏览器清除和刷新 DNS 缓存方法汇总
    【题解】 【集训队作业2018】喂鸽子 minmax容斥+期望dp+补集转化 UOJ449
    【题解】 CF809E Surprise me! 虚树+莫比乌斯反演+狄利克雷卷积
    【题解】 CF1478E Nezzar and Binary String 线段树+时间逆序
    如何处理调用EasyCVR地址集成通过EasyPlayer播放器不能播放的问题?
    智慧能源:智能安防监控技术EasyCVR在石油能源行业中的场景应用
    网络穿透/动态组网工具EasyNTS报错connect refused该如何处理?
    如何处理C++编译webrtc无法成功获取sdp的问题?
    硬核讲解:编译webrtc协议为什么需要turn服务器?
  • 原文地址:https://www.cnblogs.com/msi-chen/p/10719083.html
Copyright © 2020-2023  润新知