快速掌握RabbitMQ(五)——搭建高可用的RabbitMQ集群

　　RabbitMQ的集群是依赖erlang集群的，而erlang集群是通过.erlang.cookie文件进行通信认证的，所以我们使用RabbitMQ集群时只需要配置一下.erlang.cookie文件即可。下边简单演示一下RabbitMQ高可用集群的搭建，附带一个简单使用C#驱动RabbtiMQ集群的小栗子。

1 搭建RabbitMQ高可用集群

　　首先准备三台设备，这里采用的三台Centos7的虚拟机，测试一下各个虚拟机能不能相互ping通，如果可以相互ping通的话，在每台虚拟机上分别安装RabbitMQ，可以参考第一篇的安装方法。

第1步 修改主机配置

　　 为了方便机器间的相互访问，三台centos都执行  vim /etc/hosts ，添加下边的配置（注意修改成自己设备的IP）：

192.168.70.129 rabbitmq1
192.168.70.131 rabbitmq2
192.168.70.133 rabbitmq3

　　一般情况，hosts文件中内容如下：

第2步：修改.erlang.cookie文件

　　修改三台设备的.erlang.cookie中的key一致。如果使用的是前边的安装方法，.erlang.cookie的位置为 /var/lib/rabbitmq/.erlang.cookie （采用其他安装方式找不到文件的话，可以使用命令  find / -name '.erlang.cookie' 找到文件位置）。这里三台虚拟机的key都采用192.168.70.129的key(值为CRRQPKHDXEEIUJUOGYKN)，在另外两台设备上 执行命令： vim /var/lib/rabbitmq/.erlang.cookie ，修改文件内容为CRRQPKHDXEEIUJUOGYKN。在修改时如果遇到权限问题，可执行命令 chmod 600 /var/lib/rabbitmq/.erlang.cookie 修改文件的权限为可写，修改内容完成后，执行命令 chmod 400 /var/lib/rabbitmq/.erlang.cookie 把文件再次改成只读的。

　　完成上边的两步后，erlang集群就搭建好了，重启所有的设备即可。在rabbitmq1节点的虚拟机上执行命令 rabbitmqctl cluster_status 查看集群状态：

 第3步：添加/删除节点

添加节点

　　把rabbitmq2节点添加到集群中去，在rabbitmq2节点执行以下命令：

rabbitmqctl stop_app
rabbitmqctl reset
rabbitmqctl join_cluster rabbit@rabbit1
rabbitmqctl start_app

　　执行完成后，查看集群状态，看到rabbitmq2已经在集群中了，如下：

　　重复上边的步骤，把rabbitmq3也添加到集群中，在rabbitmq3节点执行下边命令：

rabbitmqctl stop_app
rabbitmqctl reset
rabbitmqctl join_cluster rabbit@rabbit2
rabbitmqctl start_app

　　查看集群状态，rabbitmq3也在集群中了，如下：　　

　　这时我们打开任意一个节点的Web管理界面，显示如下，看到集群已经配置完成了:

删除节点
　　把某一节点从集群中删除很简单，reset一下节点即可。如删除rabbitmq3节点，在rabbitmq3上执行以下命令：

rabbitmqctl stop_app
rabbitmqctl reset
rabbitmqctl start_app

　　执行完成后，查看集群状态如下：

 　　现在搭建的集群是默认的普通集群，普通集群中节点可以共享集群中的exchange，routingKey和queue，但是queue中的消息只保存在首次声明queue的节点中。任意节点的消费者都可以消费其他节点的消息，比如消费者连接rabbitmq1节点的消费者（代码中建立Connection时，使用的rabbitmq1的IP）可以消费节点rabbitmq2的队列myqueue2中的消息，消息传输过程是：rabbitmq2把myqueue2中的消息传输给rabbtimq1，然后rabbitmq1节点把消息发送给consumer。因为queue中的消息只保存在首次声明queue的节点中，这样就有一个问题：如果某一个node节点挂掉了，那么只能等待该节点重新连接才能继续处理该节点内的消息(如果没有设置持久化的话，节点挂掉后消息会直接丢失)。如下图，rabbitmq1节点挂掉后，myqueue队列就down掉了，不能被访问。

　　针对上边的问题，我们可能会想到：如果可以让rabbitmq中的节点像redis集群的节点一样，每一个节点都保存所有的消息，比如让rabbitmq1不仅仅保存自己队列myqueue的消息，还保存其他节点的队列myqueue2和myqueue3中的消息，rabbitmq2和rabbitmq3节点也一样，这样就不用担心宕机的问题了。rabbitmq也提供了这样的功能：镜像队列。镜像队列由一个master和多个slave组成，使用镜像队列消息会自动在镜像节点间同步，而不是在consumer取数据时临时拉取。

第4步：配置镜像队列

　　rabbitmq配置镜像队列十分简单，我们在任意一个node节点下执行下边的命令就可以完成镜像队列的配置(当然也可以在Web管理界面上添加policy)：

rabbitmqctl set_policy ha-all "^my" '{"ha-mode":"all","ha-sync-mode":"automatic"}'
# ha-all：为策略名称;
# ^my：为匹配符，只有一个^代表匹配所有，^abc为匹配名称以abc开头的queue或exchange;
# ha-mode：为同步模式，一共3种模式：
#　　　　①all-所有（所有的节点都同步消息），
#　　　　②exctly-指定节点的数目（需配置ha-params参数，此参数为int类型比如2，在集群中随机抽取2个节点同步消息）
#　　　　③nodes-指定具体节点（需配置ha-params参数，此参数为数组类型比如["rabbit@rabbitmq1","rabbit@rabbitmq2"]，明确指定在这两个节点上同步消息）。

　　打开Web管理界面，如果效果如下表示镜像队列已经配置完成了。当前myqueue的master节点为rabbitmq1:

　　如果首次声明queue的节点(master)挂了，其他节点会自动变成master,如上图myqueue的master为rabbitmq1,停掉rabbtmq1后，结果如下：rabbitmq2成为了master。

 

　　我们发现rabbitmq1节点挂了后，rabbitmq2自动成为了myqueue的master，myqueue不会down掉，可以正常的添加/删除/获取消息，这就解决了普通集群宕机的问题。使用镜像队列，因为各个节点要同步消息，所以比较耗费资源，一般在可靠性比较高的场景使用镜像队列。

还可以配置其他策略的镜像队列，也是一行命令即可完成配置，一些其它同步模式的栗子：

#策略名为ha-twe,匹配以“my”开头的queue或exchange,在集群中随机挑选镜像节点，同步的节点为2个
rabbitmqctl set_policy ha-two "^my"    '{"ha-mode":"exactly","ha-params":2,"ha-sync-mode":"automatic"}'
#策略名为ha-nodes,匹配以“my”开头的queue或exchange，指定rabbit@rabbitmq2和rabbit@rabbitmq3为同步节点
rabbitmqctl set_policy ha-nodes "^my"  '{"ha-mode":"nodes","ha-params":["rabbit@rabbitmq2", "rabbit@rabbitmq3"]}'

第5步：C#驱动RabbitMQ集群

　　C#驱动RabbitMQ集群与C#驱动单机RabbtiMQ的方式基本一样，区别在于使用集群时，创建Connection指定的是一个host集合。看一个简单的栗子：

生产者代码：

        static void Main(string[] args)
        {
            var factory = new ConnectionFactory()
            {
                UserName = "wyy",//用户名
                Password = "123456",//密码
                AutomaticRecoveryEnabled = true,//Connection断了，自动重新连接
            };
            //集群中的三个rabbitmq节点
            List<string> hosts = new List<string>() { "192.168.70.129", "192.168.70.131", "192.168.70.1233" };
            //随机连接一个rabbitmq节点
            using (var connection = factory.CreateConnection(hosts))
            {
                //创建通道channel
                using (var channel = connection.CreateModel())
                {
                    Console.WriteLine("生产者准备就绪....");
                    #region 发布100条消息
                    for (int i = 0; i < 100; i++)
                    {
                        channel.BasicPublish(exchange: "myexchange",
                                             routingKey: "mykey",
                                             basicProperties: null,
                                             body: Encoding.UTF8.GetBytes($"第{i}条消息"));
                    }
                    #endregion
                }
            }
            Console.ReadKey();
        }

消费者代码：

        static void Main(string[] args)
        {
            var factory = new ConnectionFactory()
            {
                UserName = "wyy",//用户名
                Password = "123456",//密码
            };
            //集群中的三个rabbitmq节点
            List<string> hosts = new List<string>() { "192.168.70.129", "192.168.70.131", "192.168.70.1233" };
            //随机连接一个rabbitmq节点
            using (var connection = factory.CreateConnection(hosts))
            {
                using (var channel = connection.CreateModel())
                {
                    //使用Qos,每次接收1条消息
                    channel.BasicQos(prefetchSize: 0, prefetchCount: 2, global: false);
                    Console.WriteLine("消费者准备就绪....");
                    #region EventingBasicConsumer

                    //定义消费者                                      
                    var consumer = new EventingBasicConsumer(channel);
                    consumer.Received += (sender, ea) =>
                    {
                        //处理一条消息需要10s时间
                        Thread.Sleep(1000);
                        //显示确认消息
                        channel.BasicAck(deliveryTag: ea.DeliveryTag, multiple: false);
                        Console.WriteLine($"处理消息【{Encoding.UTF8.GetString(ea.Body)}】完成！");
                    };
                    //处理消息
                    channel.BasicConsume(queue: "myqueue",
                                           autoAck: false,
                                           consumer: consumer);
                    Console.ReadKey();
                    #endregion
                }
            }
        }

　　 执行这两个应用程序，结果如下：

 　　到这里RabbtMQ的集群搭建就告一段落了，有一个小问题：RabbitMQ的集群默认不支持负载均衡的。我们可以根据设备的性能，使用Qos给各个消费者指定合适的最大发送条数，这样可以在一定程度上实现负载均衡。也有园友通过Haproxy实现RabbitMQ集群的负载均衡，有兴趣的小伙伴可以研究一下,为什么使用Haprpxy而不用Ngnix呢？这是因为Haproxy支持四层(tcp,udp等)和七层(http,https,email等)的负载均衡，而Nginx只支持七层的负载均衡，而Rabbitmq是通过tcp传输的。本节也是RabbitMQ系列的最后一篇，如果文中有错误的话，希望大家可以指出，我会及时修改，谢谢。