• redis切片集群


    以下内存参考蒋德钧老师讲义

    如何保存更多的数据

    为了保存更多的数据,通常使用大内存云主机和切片集群两种方法。实际上,这两种方法分别对应着redis应对数据量增多的两种方法:纵向扩展和横向扩展。

    • 纵向扩展:升级单个redis实例的资源配置,包括增加内存容量、增加磁盘容量、使用更高配置的cpu。就像下图中,原来的实例内存是8GB,硬盘是50GB,纵向扩展后,内存增加到24GB,磁盘增加到150GB。
    • 横向扩展:横向增加当前redis实例个数,就像下图中,原来使用1个8GB内存、50GB磁盘的实例,现在使用三个相同配置的实例。

      那么,这两种方式的优缺点分别是什么呢?
      首先,纵向扩展的好处是,实施起来简单、直接。不过该方案会面临两个潜在的问题。

    第一个问题是,当使用RDB对数据进行持久化时,如果数据量增加,需要的内存也会增加,主线程fork子进程时就可能阻塞。不过,如果你不要求持久化保存redis数据,那么纵向扩展是一个不错的选择。

    不过,这时,你还要面临第二个问题:纵向扩展会受到硬件和成本的限制。这很容易理解,毕竟,把内存从32G扩展到64GB还算容易,但是,要想扩展到1TB,就要面临硬件容量个成本上的限制。

    与纵向扩展相比,横向扩展是一个扩展性更好的方案。这是因为,要想保存更多的数据,采用这种方案的话,只用增加redis的实例个数就行了,不用担心单个实例的硬件成本限制。在面向百万,千万级别的用户规模时,横向扩展redis切片集群会是一个非常好的选择。

    不过在使用单个实例的时候,数据存放在哪儿,客户端访问哪儿,都是非常明确的,但是,切片集群不可避免地涉及到多个实例地分布式管理问题。要想把切片集群用起来,我们需要解决两大问题:

    • 数据切片后,在多个实例之间如何分布?
    • 客户端怎么确定想要访问地数据在哪个实例上?
      接下来,一一解决。

    数据切片和实例地对应分布关系

    在切片集群中,数据需要分布在不同地实例上,那么数据和实例之间如何应对呢?这就和接下来将地redis cluster方案有关了。不过,我们首先要弄明白切片集群和redis cluster地联系与区别。

    实际上,切片集群是一种保存大量数据地通用机制,这个机制可以有不同地实现方案。在redis3.0之前,官方并没有针对切片集群提供具体方案。从3.0开始,官方提供了一个名为redis cluster地方案,用于实现切片集群。redis cluster方案中就规定数据和实例地对应规则。

    具体来说,redis cluster方案使用哈希槽(hash slot),来处理数据和实例之间的映射关系。在redis cluster方案中,一个切片集群共有16384个哈希槽,这些哈希槽类似于数据分区,每个键值对都会根据它的key,被映射到一个哈希槽中。

    具体的映射过程分为两大步:首先根据键值对的key,按照CRC16算法计算一个16bit的值;然后,再用这个16bit的值对16384取模,得到0~16383范围内的模数,每个模数代表一个相应编号的哈希槽。

    那么,这些哈希槽又是如何被映射到具体的redis实例上的呢?

    我们在部署redis cluster方案时,可以使用cluster create命令创建集群,此时,redis会自动把这些槽平均分布到集群实例上。例如:如果集群有N个实例,那么,每个实例上的槽个数为16384/N

    当然,我们也可以使用cluster meet 命令手动建立实例间的连接,形成集群,在使用 cluster addslots命令,指定每个实例上的哈希槽个数。

    举一个例子,假设集群中不同redis实例的内存大小配置不一,如果把哈希槽均分在各个实例上,在保存相同数量的键值对时,和内存大的实例相比,内存小的实例就会有更大的容量压力。遇到这种情况时,可以根据不同实例的资源配置情况,使用cluster addslots命令手动分配哈希槽

    示意图中的切片集群一共有三个实例,同时假设有5个哈希槽,我们首先可以通过下面的命令手动分配哈希槽:实例1保存哈希槽0和1,实例2保存哈希槽2和3,实例3保存哈希槽4.

    redis-cli -h 172.16.19.3 –p 6379 cluster addslots 0,1
    redis-cli -h 172.16.19.4 –p 6379 cluster addslots 2,3
    redis-cli -h 172.16.19.5 –p 6379 cluster addslots 4
    

    在集群运行的过程中,key1和key2计算完CRC16值后,对哈希槽总个数5取模,再根据各自的模数结果,就可以被映射到对应的实例1和实例3上了。

    另外,一个小提醒 在手动分配哈希槽时,需要把16384个槽都分配完,否则redis无法正常工作

    客户端如何数据定位

    在定位键值对数据时,它所处的哈希槽是可以通过计算得到的,这个计算可以在客户端发送请求时来执行。但是,要进一步定位到实例,还需要知道哈希槽分布在哪个实例上。

    一般来说,客户端和集群建立连接之后,实例就会把哈希槽的分配信息发送给客户端。但是,在集群当当创建的时候,每个实例只知道自己被分配了哪些哈希槽,是不知道其他实例拥有哈希槽的信息的。

    那么客户端为什么可以在访问任何一个实例时,都能获得所有的哈希槽信息呢?这是因为redis实例会把自己的哈希槽信息发给和它相连的其他实例,来完成哈希槽分配信息的扩散。当实例之间相互连接后,每个实例就有所有哈希槽的映射关系了。

    客户端收到哈希槽信息后,会把哈希槽信息缓存在本地。当客户端请求键值对时,会先计算键所对应的哈希槽,然后就可以给相应的实例发送请求了。

    但是,集群中,实例和哈希槽的对应关系并不是一成不变的,最常见的变化有两个:

    • 在集群中,实例有新增或者删除,redis需要重新分配哈希槽
    • 为了负载均衡,redis需要把哈希槽在所有实例上重新分配一遍。

    此时,实例之间还可以通过相互传递信息,获得最新的哈希槽分配信息,但是,客户端是无法主动感知这些变化的。这就会导致,它缓存的分配信息和最新的分配信息不一致了,那该怎么办呢?

    redis cluster方案提供了一个重定向机制,所谓重定向,就是指,客户端给一个实例发送数据读写操作时,这个实例是并没有相应的数据,客户端要再给一个新实例发送操作命令。

    那客户端又是怎么知道重定向时的新实例的访问地址呢?当客户端把一个键值对的操作请求发送给一个实例时,如果这个实例并没有这个键值对映射的哈希槽,那么这个实例就会给这个客户端返回下面的move命令响应结果,这个结果中就包含了新实例的访问地址。

    GET hello:key
    (error) MOVED 13320 172.16.19.5:6379
    

    其中,moved命令表示,客户端请求的键值对所在的哈希槽13320,实际是在172.16.19.5这个实例上。通过返回的moved命令,就相当于把哈希槽所在的新实例信息告诉给客户端。这样一来,客户端就可以直接和172.16.19.5连接,并发操作请求了。

  • 相关阅读:
    2018/01/01Java基础学习——如何通过dos系统的javadoc命令生成API文档
    Go语言的big包实现大整数运算
    HDU5100 Chessboard【组合数学】
    HDU5143 NPY and arithmetic progression【暴力】
    UVALive5402 UVA579 Clock Hands【水题】
    UVA11799 Horror Dash【求极值+水题】
    HDU1017 ZOJ1152 A Mathematical Curiosity【暴力】
    UVALive2536 POJ1248 HDU1015 ZOJ1403 Safecracker【密码+暴力】
    POJ1284 Primitive Roots【原根】
    UVA11340 Newspaper【输入流+map】
  • 原文地址:https://www.cnblogs.com/liuzhidao/p/14821430.html
Copyright © 2020-2023  润新知