Redis集群搭建及原理

一、哨兵模式

在 redis3.0之前，redis使用的哨兵架构，它借助 sentinel 工具来监控 master 节点的状态；如果 master 节点异常，则会做主从切换，将一台 slave 作为 master。

哨兵模式的缺点：

（1）当master挂掉的时候，sentinel 会选举出来一个 master，选举的时候是没有办法去访问Redis的，会存在访问瞬断的情况；若是在电商网站大促的时候master给挂掉了，几秒钟损失好多订单数据；

（2）哨兵模式，对外只有master节点可以写，slave节点只能用于读。尽管Redis单节点最多支持10W的QPS，但是在电商大促的时候，写数据的压力全部在master上。

（3）Redis的单节点内存不能设置过大，若数据过大在主从同步将会很慢；在节点启动的时候，时间特别长；（从节点上有主节点的所有数据）

二、Redis集群

1、Redis集群的介绍

 　　Redis集群是一个由多个主从节点群组成的分布式服务集群，它具有复制、高可用和分片特性。Redis集群不需要sentinel哨兵也能完成节点移除和故障转移的功能。需要将每个节点设置成集群模式，这种集群模式没有中心节点，可水平扩展，据官方文档称可以线性扩展到上万个节点(官方推荐不超过1000个节点)。redis集群的性能和高可用性均优于之前版本的哨兵模式，且集群配置非常简单。

2、Redis集群的优点：

（1）Redis集群有多个master，可以减小访问瞬断问题的影响；

　　若集群中有一个master挂了，正好需要向这个master写数据，这个操作需要等待一下；但是向其他master节点写数据是不受影响的。

（2）Redis集群有多个master，可以提供更高的并发量；　　

（3）Redis集群可以分片存储，这样就可以存储更多的数据；

3、Redis集群的搭建

Redis的集群搭建最少需要3个master节点，我们这里搭建3个master，每个下面挂一个slave节点，总共6个Redis节点；（3台机器，每台机器一主一从）

第1台机器： 192.168.1.1   8001端口  8002端口

第2台机器： 192.168.1.2   8001端口  8002端口

第3台机器： 192.168.1.3   8001端口  8002端口

第一步：创建文件夹

mkdir -p /usr1/redis/redis-cluster/8001 /usr1/redis/redis-cluster/8002

第二步：将redis安装目录下的 redis.conf 文件分别拷贝到8001目录下

cp /usr1/redis-5.0.3/redis.conf /usr1/redis/redis-cluster/8001

第三步：修改redis.conf文件以下内容

port 8001
daemonize yes
pidfile "/var/run/redis_8001.pid"

#指定数据文件存放位置，必须要指定不同的目录位置，不然会丢失数据
dir /usr1/redis/redis-cluster/8001/

#启动集群模式
cluster-enabled yes

#集群节点信息文件，这里800x最好和port对应上
cluster-config-file nodes-8001.conf

# 节点离线的超时时间
cluster-node-timeout 5000

#去掉bind绑定访问ip信息
#bind 127.0.0.1

#关闭保护模式
protected-mode no 

#启动AOF文件
appendonly yes

#如果要设置密码需要增加如下配置：
#设置redis访问密码
requirepass redis-pw

#设置集群节点间访问密码，跟上面一致
masterauth redis-pw

第四步，把上面修改好的配置文件拷贝到8002文件夹下，并将8001修改为8002：

cp /usr1/redis/redis-cluster/8001/redis.conf /usr1/redis/redis-cluster/8002
cd /usr1/redis/redis-cluster/8002/
vim redis.conf

#批量修改字符串
:%s/8001/8002/g

第五步，将本机（192.168.1.1）机器上的文件拷贝到另外两台机器上

scp /usr1/redis/redis-cluster/8001/redis.conf  root@192.168.1.2:/usr1/redis/redis-cluster/8001/
scp /usr1/redis/redis-cluster/8002/redis.conf  root@192.168.1.2:/usr1/redis/redis-cluster/8002/

scp /usr1/redis/redis-cluster/8001/redis.conf  root@192.168.1.3:/usr1/redis/redis-cluster/8001/
scp /usr1/redis/redis-cluster/8002/redis.conf  root@192.168.1.3:/usr1/redis/redis-cluster/8002/

第六步，分别启动这6个redis实例，然后检查是否启动成功

/usr1/redis/redis-5.0.3/src/redis-server /usr1/redis/redis-cluster/8001/redis.conf 
/usr1/redis/redis-5.0.3/src/redis-server /usr1/redis/redis-cluster/8002/redis.conf 
ps -ef | grep redis

 第七步，使用 redis-cli 创建整个 redis 集群（redis5.0版本之前使用的ruby脚本 redis-trib.rb）

运行以上命令，完成搭建

/usr1/redis/redis-5.0.3/src/redis-cli -a redis-pw --cluster create --cluster-replicas 1 192.168.1.1:8001 192.168.1.1:8002 192.168.1.2:8001 192.168.1.2:8002 192.168.1.3:8001 192.168.1.3:8002

说明： 

　　-a ：密码；

　　 --cluster-replicas 1：表示1个master下挂1个slave； --cluster-replicas 2：表示1个master下挂2个slave。

扩展：

　　查看帮助命令： src/redis‐cli --cluster help 

create：创建一个集群环境host1:port1 ... hostN:portN
call：可以执行redis命令
add-node：将一个节点添加到集群里，第一个参数为新节点的ip:port，第二个参数为集群中任意一个已经存在的节点的ip:port
del-node：移除一个节点
reshard：重新分片
check：检查集群状态

 第八步，验证集群

（1）连接任意一个客户端

/usr1/redis/redis-5.0.3/src/redis-cli -a redis-pw -c -h 192.168.1.1 -p 8001

说明：‐a表示服务端密码；‐c表示集群模式；-h指定ip地址；-p表示端口号

（2）查看集群的信息： cluster info   

（3） 查看节点列表：  cluster nodes  slave 对应的 master 从上面也可以看到；

从上面可以看到 slave挂在哪个 master 下面；

 在 /usr1/redis/redis-cluster/8001/nodes-8001.conf 文件中存储了节点信息；

（4）进行数据操作验证；

（5）关闭集群则需要逐个进行关闭，使用命令：

/usr/local/redis‐5.0.3/src/redis‐cli ‐a redis-pw ‐c ‐h 192.168.1.1 ‐p 8001 shutdown
/usr/local/redis‐5.0.3/src/redis‐cli ‐a redis-pw ‐c ‐h 192.168.1.1 ‐p 8002 shutdown
......

注意：在创建集群的时候，需要把所有节点机器上的防火关闭，保证 Redis的服务端口和集群节点通信的 gossip 端口能通；

　　systemctl stop firewalld # 临时关闭防火墙

　　systemctl disable firewalld # 禁止开机启动

 4、Redis集群原理分析

 　　Redis Cluster 将所有数据划分为 16384 个 slots（槽位），每个节点负责其中一部分槽位。槽位的信息存储于每个节点中。只有master节点会被分配槽位，slave节点不会分配槽位。

　　当Redis Cluster 的客户端来连接集群时，它也会得到一份集群的槽位配置信息，并将其缓存在客户端本地。这样当客户端要查找某个 key 时，可以直接定位到目标节点。同时因为槽位的信息可能会存在客户端与服务器不一致的情况，还需要纠正机制来实现槽位信息的校验调整。

槽位定位算法

 Cluster 默认会对 key 值使用 crc16 算法进行 hash 得到一个整数值，然后用这个整数值对 16384 进行取模来得到具体槽位。

　　　　　　　　　　　　 HASH_SLOT = CRC16(key) % 16384 

跳转重定位

 　　当客户端向一个节点发出了指令，首先当前节点会计算指令的 key 得到槽位信息，判断计算的槽位是否归当前节点所管理；若槽位不归当前节点管理，这时它会向客户端发送一个特殊的跳转指令携带目标操作的节点地址，告诉客户端去连这个节点去获取数据。客户端收到指令后除了跳转到正确的节点上去操作，还会同步更新纠正本地的槽位映射表缓存，后续所有 key 将使用新的槽位映射表。

 Redis集群节点之间的通信机制

维护集群的元数据有集中式和 gossip两种方式，Redis 的集群节点之间的通信采取 gossip 协议进行通信

（1）集中式：

　　优点：元数据的更新和读取，时效性非常好，一旦元数据出现变更立即就会更新到集中式的存储中，其他节点读取的时候立即就可以立即感知到；

　　缺点：所有的元数据的更新压力全部集中在一个地方，可能导致元数据的存储压力。zookeeper使用该方式

（2）gossip：

　　gossip协议包含多种消息，包括ping，pong，meet，fail等等。。

　　优点：元数据的更新比较分散，不是集中在一个地方，更新请求会陆陆续续，打到所有节点上去更新，有一定的延时，降低了压力；

　　缺点：元数据更新有延时可能导致集群的一些操作会有一些滞后。

　　每个节点都有一个专门用于节点间通信的端口，就是自己提供服务的端口号+10000，比如7001，那么用于节点间通信的就是17001端口。 每个节点每隔一段时间都会往另外几个节点发送ping消息，同时其他几点接收到ping消息之后返回pong消息。

网络抖动

　　网络抖动就是非常常见的一种现象，突然之间部分连接变得不可访问，然后很快又恢复正常。
　　为解决这种问题，Redis Cluster 提供了一种选项  cluster-­node-­timeout ，表示当某个节点失联的时间超过了配置的 timeout时，才可以认定该节点出现故障，需要进行主从切换。如果没有这个选项，网络抖动会导致主从频繁切换 (数据的重新复制)。

Redis集群选举原理 

当 slave 发现自己的 master 变为 fail 状态时，便尝试进行 FailOver，以期成为新的 master。由于挂掉的 master 有多个 slave，所以这些 slave 要去竞争成为 master 节点，过程如下：

（1）slave1，slave2都 发现自己连接的 master 状态变为 Fail；

（2）它们将自己记录的集群 currentEpoch（选举周期） 加1，并使用 gossip 协议去广播 FailOver_auth_request 信息；

（3）其他节点接收到slave1、salve2的消息（只有master响应），判断请求的合法性，并给 slave1 或 slave2 发送 FailOver_auth_ack（对每个 epoch 只发一次ack）；   在一个选举周期中，一个master只会响应第一个给它发消息的slave；

（4）slave1 收集返回的 FailOver_auth_ack，它收到超过半数的 master 的 ack 后变成新 master； （这也是集群为什么至少需要3个master的原因，如果只有两个master，其中一个挂了之后，只剩下一个主节点是不能选举成功的） 

（5）新的master节点去广播 Pong 消息通知其他集群节点，不需要再去选举了。

　　从节点并不是在主节点一进入 FAIL 状态就马上尝试发起选举，而是有一定延迟，一定的延迟确保我们等待FAIL状态在集群中传播，slave如果立即尝试选举，其它masters或许尚未意识到FAIL状态，可能会拒绝投票。

　　延迟计算公式：DELAY = 500ms + random(0 ~ 500ms) + SLAVE_RANK * 1000ms

　　SLAVE_RANK：表示此slave已经从master复制数据的总量的rank。Rank越小代表已复制的数据越新。这种方式下，持有最新数据的slave将会首先发起选举（理论上）

Redis集群为什么至少需要三个master节点，并且推荐节点数为奇数？
　　因为新master的选举需要大于半数的集群master节点同意才能选举成功，如果只有两个master节点，当其中一个挂了，是达不到选举新master的条件的。
　　奇数个master节点可以在满足选举该条件的基础上节省一个节点，比如三个master节点和四个master节点的集群相比，大家如果都挂了一个master节点都能选举新master节点，如果都挂了两个master节点都没法选举新master节点了，所以奇数的master节点更多的是从节省机器资源角度出发说的。

集群是否完整才能对外提供服务
当redis.conf的配置cluster-require-full-coverage为no时，表示当负责一个插槽的主库下线且没有相应的从库进行故障恢复时，集群仍然可用，如果为yes则集群不可用。

 5、Java 操作 Redis 集群

 方式一（Jedis）：

（1）引入jedis的maven坐标

<dependency>
 <groupId>redis.clients</groupId>
 <artifactId>jedis</artifactId>
 <version>2.9.0</version>
</dependency>

（2）Java编写的代码，如下：

public class JedisClusterTest {
    public static void main(String[] args) throws IOException {
 
        JedisPoolConfig config = new JedisPoolConfig();
        config.setMaxTotal(20);
        config.setMaxIdle(10);
        config.setMinIdle(5);

        Set<HostAndPort> jedisClusterNode = new HashSet<HostAndPort>();
        jedisClusterNode.add(new HostAndPort("192.168.1.1", 8001));
        jedisClusterNode.add(new HostAndPort("192.168.1.1", 8002));
        jedisClusterNode.add(new HostAndPort("192.168.1.2", 8001));
        jedisClusterNode.add(new HostAndPort("192.168.1.2", 8002));
        jedisClusterNode.add(new HostAndPort("192.168.1.3", 8001));
        jedisClusterNode.add(new HostAndPort("192.168.1.3", 8002));
        JedisCluster jedisCluster = null;
        try {
             //connectionTimeout：指的是连接一个url的连接等待时间
             //soTimeout：指的是连接上一个url，获取response的返回等待时间
             jedisCluster = new JedisCluster(jedisClusterNode, 6000, 5000, 10, "redis-pw", config);
             System.out.println(jedisCluster.set("name", "zhangsan"));
             System.out.println(jedisCluster.get("name"));
         } catch (Exception e) {
            e.printStackTrace();
         } finally {
             if (jedisCluster != null) {
                jedisCluster.close();
             }
        }
    }
}

方式二：SpringBoot 整合 Redis 

（1）引入maven坐标

<dependency>
 <groupId>org.springframework.boot</groupId>
 <artifactId>spring‐boot‐starter‐data‐redis</artifactId>
</dependency>
 
<dependency>
 <groupId>org.apache.commons</groupId>
 <artifactId>commons‐pool2</artifactId>
</dependency>

（2）配置文件

server:
  port: 8080

spring:
  redis:
  database: 0
  timeout: 3000
  password: redis-pw
  cluster:
    nodes: 192.168.0.61:8001,192.168.0.62:8002,192.168.0.63:8003,192.168.0.61:8004,192.168.0.62:8005,192.168.0.6
3:8006
  lettuce:
  pool:
  max‐idle: 50
  min‐idle: 10
  max‐active: 100
  max‐wait: 1000

（3）java代码，如下：

@RestController
public class TestController {
 
    private static final Logger logger = LoggerFactory.getLogger(TestController.class);

    @Autowired
    private StringRedisTemplate stringRedisTemplate;

    @RequestMapping("/test_cluster")
    public void testCluster() throws InterruptedException {
        stringRedisTemplate.opsForValue().set("user:name", "wangwu");
        System.out.println(stringRedisTemplate.opsForValue().get("user:name"));
    }
}