• Redis集群搭建最佳实践


    要搭建Redis集群。首先得考虑以下的几个问题;

    Redis集群搭建的目的是什么?或者说为什么要搭建Redis集群?

    Redis集群搭建的目的事实上也就是集群搭建的目的。全部的集群主要都是为了解决一个问题,横向扩展。
    在集群的概念出现之前,我们使用的硬件资源都是纵向扩展的,可是纵向扩展非常快就会达到一个极限,单台机器的Cpu的处理速度,内存大小。硬盘大小没办法一直满足需求,并且机器纵向扩展的成本是相当高的。

    集群的出现就是可以让多台机器像一台机器一样工作,实现了资源的横向扩展。


    Redis是内存型数据库。当我们要存储的数据达到一定程度时,单台机器的内存满足不了我们的需求。搭建集群则是一种非常好的解决方式。

    那么怎样可以让多台机器上的Redis可以像一台机器上的Redis一样工作呢?

    须要解决下面三个问题;
    1.对外暴露一个訪问节点
    2.请求分片(sharding)
    3.分片要合理(分片均匀,相同的请求要分配到相同的redis节点)

    首先,要对外暴露一个訪问节点,后面可能有多台redis再工作;我们非常easy想到的就是代理(Proxy),对于client仅仅须要知道代理。通过代理来和后台的多台redis交互。

    第二个问题能够使用hash算法解决,将请求的某个key取hash值。对redis个数取余。来分配的不同的redis上;然而这么做不能满足第三点中的相同的请求要分配到相同的redis中。在这样的情况下一致性哈希能够完美的解决问题,一致性哈希能够将redis的节点通过hash算法分布再一个232 个节点的圆环上。将请求的key用相同的hash算法映射到这个圆环上。然后在key值的节点顺时针寻找近期的redis节点,这样就保证了一致性;具体介绍能够參考:http://blog.csdn.net/sparkliang/article/details/5279393 。

    假设让我来实现redis集群的话,我会採用zookeeper加上一个redis守护程序加上一致性hash算法来实现。只是twicer的大神们已经实现并开源了一个redis集群方案。我就不反复制造轮子了;来看看这个全球最大的redis集群使用者之中的一个的大神们实现的 twemproxy (nutcracker)有哪些特性。


    Twemproxy除了能够作为redis的代理,它相同支持memerycached的ASCII协议。我这里主要了解Twemproxy在redis集群上的解决方式。

    Twemproxy除了完美的攻克了上面的三个问题(相同採用了一致性hash算法)。另一个重要的特点;它支持

    node ejection。假设使用redis当缓存,不是非常注重数据的一致性的话。开启node ejection能够在集群中某一台redis挂掉的时候将其送集群列表中移除,达到高可用性。

    假设redis集群做为数据存储的话,或者非常注重数据的一致性。则能够禁用node jection。但此时须要使用其它方法实现高可用性,比方redis sentiel。

    Twemproxy的具体介绍能够看看这篇文章:http://antirez.com/news/44 Twemproxy项目Github地址:https://github.com/twitter/twemproxy 。

     
    废话说了这么多。来看看怎么安装twemproxy。搭建redis集群吧

    首先依照github提示的步骤安装twemproxy:

    To build nutcracker from source with debug logs enabled and assertions disabled:

    $ git clone git@github.com:twitter/twemproxy.git
    $ cd twemproxy
    $ autoreconf -fvi
    $ ./configure --enable-debug=log
    $ make
    
    依次输入上面的命令。然后输入:
    $ src/nutcracker -h
    假设显示帮助信息,则表示成功安装;
    
    接下来编辑配置信息。找一个自己喜欢的文件夹,创建配置文件,后缀为yml,如twemproxy.test.yml;填入例如以下信息:
    
    alpha:
      listen: 127.0.0.1:55555
      hash: fnv1a_64
      distribution: ketama
      auto_eject_hosts: true
      redis: true
      server_retry_timeout: 30000
      server_failure_limit: 1
      servers:
        - 192.168.1.10:6379:1
        - 192.168.1.7:6379:1
    注意缩进,否则将无法启动twenproxy。
    当中listen:表示代理的ip以及port号。是暴露给client使用的。hash: 表示使用哪种hash方法,twemproxy提供了多种方式,详细能够看github介绍;distribution表示分配模式。有三种选择:ketama, modula,random。auto_reject_hosts: 就是上面所说的,自己主动移除失败的节点。redis: 表示使用的是redis集群,剩下的配置非常easy就不一一介绍了......
    通过如此简单的配置之后,运行./src/nutcracker -c ./conf/nutcracker.test.yml(这里使用自己的安装路径和配置文件路径) 就启动了twemproxy, client仅仅须要通过redis-cli就能连接上proxy,用法和redis全然一样(但不是全部命令都支持)。
    
    这样redis的集群就搭好了。是不是简单到爆?只是不要开心得太早,twemproxy也有它的不足之处。

    1.不支持事务以及批量操作; 2.相较于直接訪问redis性能有所损耗;

    
    尽管twemproxy有上述缺点,单相较于起带来的优点简直不值一提。但也说明它不适用于全部情况。
    
    Redis集群还有非常多种搭建方式。其官方的cluster一直处于beta状态,相信了解了twemproxy后,大家会发现它是如今最好的选择!

  • 相关阅读:
    Gates entitled as knight
    the next generation Office
    Beautiful songs
    一则比较搞笑的新闻:【人才】微软招募英才 机会不容错过
    About cmt lint tools
    Alpha's blog open !
    抱歉!
    新闻:IBM的新工具CHIPHOPPER! 一套能够极大扩展Linux应用范围的新工具、新资源和新软件
    读书笔记:Thinking in Java (一)
    The best coders are:/什么是最牛的程序员
  • 原文地址:https://www.cnblogs.com/mfmdaoyou/p/7396567.html
Copyright © 2020-2023  润新知