• RocketMQ多Master多Slave模式部署


    每个 Master 配置一个 Slave,有多对Master-Slave,HA采用同步双写方式,主备都写成功,向应用返回成功。

    优点:数据与服务都无单点,Master宕机情况下,消息无延迟,服务可用性与数据可用性都非常高。
    缺点:性能比异步复制模式略低,大约低10%左右,发送单个消息的RT会略高。目前主宕机后,备机不能自动切换为主机,后续会支持自动切换功能。

    ### 先启动 NameServer
    ### 在机器 A,启动第一个 Master
    ### 在机器 B,启动第二个 Master
    ### 在机器 C,启动第一个 Slave
    ### 在机器 D,启动第二个 Slave
    以上 Broker 与 Slave 配对是通过指定相同的brokerName 参数来配对,Master的 BrokerId 必须是 0,Slave 的BrokerId 必须是大与 0 的数。
    另外一个 Master 下面可以挂载多个 Slave,同一 Master 下的多个 Slave通过指定不同的 BrokerId来区分。

    1. 服务器环境如下图所示,四台机器,IP位7为主节点,149是7的从节点。105是主节点,160是105的从节点

    序号    IP                  用户名             角色                          模式
    1       192.168.1.7         root               nameServer1,brokerServer1     Master1
    2       192.168.1.105       root               nameServer2,brokerServer2     Master2
    3       192.168.1.149       root               nameServer3,brokerServer3     Master1-slave1
    4       192.168.1.160       root               nameServer4,brokerServer4     Master2-slave1

    2. Hosts添加信息

    IP              NAME
    192.168.1.7     rocketmq-nameserver1
    192.168.1.7     rocketmq-master1
    192.168.1.105   rocketmq-nameserver2
    192.168.1.105   rocketmq-master2
    192.168.1.149   rocketmq-nameserver3
    192.168.1.149   rocketmq-master1-slave1
    192.168.1.160   rocketmq-nameserver4
    192.168.1.160   rocketmq-master2-slave1

    3.编辑hosts文件【4台机器】

    # vim /etc/hosts

    4.上传解压【4台机器】

    # 上传alibaba-rocketmq-3.2.6.tar.gz文件至/home/xm6f/dev
    # cd /home/xm6f/dev 
    # tar -zxvf alibaba-rocketmq-3.2.6.tar.gz 
    # mv alibaba-rocketmq rocketmq

    5.创建存储路径【4台机器】

    # mkdir /home/xm6f/dev/rocketmq/store 
    # mkdir /home/xm6f/dev/rocketmq/store/commitlog 
    # mkdir /home/xm6f/dev/rocketmq/store/consumequeue 
    # mkdir /home/xm6f/dev/rocketmq/store/index 


    6.RocketMQ配置文件【4台机器】--该文件有点类似于Redis里面的redis.con

    # sudo vim /home/xm6f/dev/rocketmq/conf/2m-2s-async/broker-a.properties ##192.168.1.7配置文件 
    # sudo vim /home/xm6f/dev/rocketmq/conf/2m-2s-async/broker-a-s.properties ##192.168.1.149配置文件 
    # sudo vim /home/xm6f/dev/rocketmq/conf/2m-2s-async/broker-b.properties ##192.168.1.105配置文件 
    # sudo vim /home/xm6f/dev/rocketmq/conf/2m-2s-async/broker-b-s.properties ##192.168.1.160配置文件

    broker-a.properties文件

    #所属集群名字
    brokerClusterName=rocketmq-cluster
    #broker名字,注意此处不同的配置文件填写的不一样
    brokerName=broker-a
    #0 表示 Master,>0 表示 Slave
    brokerId=0
    #nameServer地址,分号分割
    namesrvAddr=rocketmq-nameserver1:9876;rocketmq-nameserver2:9876;rocketmq-nameserver3:9876;rocketmq-nameserver4:9876
    #在发送消息时,自动创建服务器不存在的topic,默认创建的队列数
    defaultTopicQueueNums=4
    #是否允许 Broker 自动创建Topic,建议线下开启,线上关闭
    autoCreateTopicEnable=true
    #是否允许 Broker 自动创建订阅组,建议线下开启,线上关闭
    autoCreateSubscriptionGroup=true
    #Broker 对外服务的监听端口
    listenPort=10911
    #删除文件时间点,默认凌晨 4点
    deleteWhen=04
    #文件保留时间,默认 48 小时
    fileReservedTime=120
    #commitLog每个文件的大小默认1G
    mapedFileSizeCommitLog=1073741824
    #ConsumeQueue每个文件默认存30W条,根据业务情况调整
    mapedFileSizeConsumeQueue=300000
    #destroyMapedFileIntervalForcibly=120000
    #redeleteHangedFileInterval=120000
    #检测物理文件磁盘空间
    diskMaxUsedSpaceRatio=88
    #存储路径
    storePathRootDir=/home/xm6f/dev/rocketmq/store
    #commitLog 存储路径
    storePathCommitLog=/home/xm6f/dev/rocketmq/store/commitlog
    #消费队列存储路径存储路径
    storePathConsumeQueue=/home/xm6f/dev/rocketmq/store/consumequeue
    #消息索引存储路径
    storePathIndex=/home/xm6f/dev/rocketmq/store/index
    #checkpoint 文件存储路径
    storeCheckpoint=/home/xm6f/dev/rocketmq/store/checkpoint
    #abort 文件存储路径
    abortFile=/home/xm6f/dev/rocketmq/store/abort
    #限制的消息大小
    maxMessageSize=65536
    #flushCommitLogLeastPages=4
    #flushConsumeQueueLeastPages=2
    #flushCommitLogThoroughInterval=10000
    #flushConsumeQueueThoroughInterval=60000
    #Broker 的角色
    #- ASYNC_MASTER 异步复制Master
    #- SYNC_MASTER 同步双写Master
    #- SLAVE
    brokerRole=ASYNC_MASTER
    #刷盘方式
    #- ASYNC_FLUSH 异步刷盘
    #- SYNC_FLUSH 同步刷盘
    flushDiskType=ASYNC_FLUSH
    #checkTransactionMessageEnable=false
    #发消息线程池数量
    #sendMessageThreadPoolNums=128
    #拉消息线程池数量
    #pullMessageThreadPoolNums=128
    #强制指定本机IP,需要根据每台机器进行修改。官方介绍可为空,系统默认自动识别,但多网卡时IP地址可能读取错误
    brokerIP1=192.168.1.7
    

    broker-a-s.properties文件

    #所属集群名字
    brokerClusterName=rocketmq-cluster
    #broker名字,注意此处不同的配置文件填写的不一样
    brokerName=broker-a
    #0 表示 Master,>0 表示 Slave
    brokerId=1
    #nameServer地址,分号分割
    namesrvAddr=rocketmq-nameserver1:9876;rocketmq-nameserver2:9876;rocketmq-nameserver3:9876;rocketmq-nameserver4:9876
    #在发送消息时,自动创建服务器不存在的topic,默认创建的队列数
    defaultTopicQueueNums=4
    #是否允许 Broker 自动创建Topic,建议线下开启,线上关闭
    autoCreateTopicEnable=true
    #是否允许 Broker 自动创建订阅组,建议线下开启,线上关闭
    autoCreateSubscriptionGroup=true
    #Broker 对外服务的监听端口
    listenPort=10911
    #删除文件时间点,默认凌晨 4点
    deleteWhen=04
    #文件保留时间,默认 48 小时
    fileReservedTime=120
    #commitLog每个文件的大小默认1G
    mapedFileSizeCommitLog=1073741824
    #ConsumeQueue每个文件默认存30W条,根据业务情况调整
    mapedFileSizeConsumeQueue=300000
    #destroyMapedFileIntervalForcibly=120000
    #redeleteHangedFileInterval=120000
    #检测物理文件磁盘空间
    diskMaxUsedSpaceRatio=88
    #存储路径
    storePathRootDir=/home/xm6f/dev/rocketmq/store
    #commitLog 存储路径
    storePathCommitLog=/home/xm6f/dev/rocketmq/store/commitlog
    #消费队列存储路径存储路径
    storePathConsumeQueue=/home/xm6f/dev/rocketmq/store/consumequeue
    #消息索引存储路径
    storePathIndex=/home/xm6f/dev/rocketmq/store/index
    #checkpoint 文件存储路径
    storeCheckpoint=/home/xm6f/dev/rocketmq/store/checkpoint
    #abort 文件存储路径
    abortFile=/home/xm6f/dev/rocketmq/store/abort
    #限制的消息大小
    maxMessageSize=65536
    #flushCommitLogLeastPages=4
    #flushConsumeQueueLeastPages=2
    #flushCommitLogThoroughInterval=10000
    #flushConsumeQueueThoroughInterval=60000
    #Broker 的角色
    #- ASYNC_MASTER 异步复制Master
    #- SYNC_MASTER 同步双写Master
    #- SLAVE
    brokerRole=SLAVE
    #刷盘方式
    #- ASYNC_FLUSH 异步刷盘
    #- SYNC_FLUSH 同步刷盘
    flushDiskType=ASYNC_FLUSH
    #checkTransactionMessageEnable=false
    #发消息线程池数量
    #sendMessageThreadPoolNums=128
    #拉消息线程池数量
    #pullMessageThreadPoolNums=128
    #强制指定本机IP,需要根据每台机器进行修改。官方介绍可为空,系统默认自动识别,但多网卡时IP地址可能读取错误
    brokerIP1=192.168.1.149
    

    broker-b.properties文件

    #所属集群名字
    brokerClusterName=rocketmq-cluster
    #broker名字,注意此处不同的配置文件填写的不一样
    brokerName=broker-b
    #0 表示 Master,>0 表示 Slave
    brokerId=0
    #nameServer地址,分号分割
    namesrvAddr=rocketmq-nameserver1:9876;rocketmq-nameserver2:9876;rocketmq-nameserver3:9876;rocketmq-nameserver4:9876
    #在发送消息时,自动创建服务器不存在的topic,默认创建的队列数
    defaultTopicQueueNums=4
    #是否允许 Broker 自动创建Topic,建议线下开启,线上关闭
    autoCreateTopicEnable=true
    #是否允许 Broker 自动创建订阅组,建议线下开启,线上关闭
    autoCreateSubscriptionGroup=true
    #Broker 对外服务的监听端口
    listenPort=10911
    #删除文件时间点,默认凌晨 4点
    deleteWhen=04
    #文件保留时间,默认 48 小时
    fileReservedTime=120
    #commitLog每个文件的大小默认1G
    mapedFileSizeCommitLog=1073741824
    #ConsumeQueue每个文件默认存30W条,根据业务情况调整
    mapedFileSizeConsumeQueue=300000
    #destroyMapedFileIntervalForcibly=120000
    #redeleteHangedFileInterval=120000
    #检测物理文件磁盘空间
    diskMaxUsedSpaceRatio=88
    #存储路径
    storePathRootDir=/home/xm6f/dev/rocketmq/store
    #commitLog 存储路径
    storePathCommitLog=/home/xm6f/dev/rocketmq/store/commitlog
    #消费队列存储路径存储路径
    storePathConsumeQueue=/home/xm6f/dev/rocketmq/store/consumequeue
    #消息索引存储路径
    storePathIndex=/home/xm6f/dev/rocketmq/store/index
    #checkpoint 文件存储路径
    storeCheckpoint=/home/xm6f/dev/rocketmq/store/checkpoint
    #abort 文件存储路径
    abortFile=/home/xm6f/dev/rocketmq/store/abort
    #限制的消息大小
    maxMessageSize=65536
    #flushCommitLogLeastPages=4
    #flushConsumeQueueLeastPages=2
    #flushCommitLogThoroughInterval=10000
    #flushConsumeQueueThoroughInterval=60000
    #Broker 的角色
    #- ASYNC_MASTER 异步复制Master
    #- SYNC_MASTER 同步双写Master
    #- SLAVE
    brokerRole=ASYNC_MASTER
    #刷盘方式
    #- ASYNC_FLUSH 异步刷盘
    #- SYNC_FLUSH 同步刷盘
    flushDiskType=ASYNC_FLUSH
    #checkTransactionMessageEnable=false
    #发消息线程池数量
    #sendMessageThreadPoolNums=128
    #拉消息线程池数量
    #pullMessageThreadPoolNums=128
    #强制指定本机IP,需要根据每台机器进行修改。官方介绍可为空,系统默认自动识别,但多网卡时IP地址可能读取错误
    brokerIP1=192.168.1.105

    broker-b-s.properties文件

    #所属集群名字
    brokerClusterName=rocketmq-cluster
    #broker名字,注意此处不同的配置文件填写的不一样
    brokerName=broker-b
    #0 表示 Master,>0 表示 Slave
    brokerId=1
    #nameServer地址,分号分割
    namesrvAddr=rocketmq-nameserver1:9876;rocketmq-nameserver2:9876;rocketmq-nameserver3:9876;rocketmq-nameserver4:9876
    #在发送消息时,自动创建服务器不存在的topic,默认创建的队列数
    defaultTopicQueueNums=4
    #是否允许 Broker 自动创建Topic,建议线下开启,线上关闭
    autoCreateTopicEnable=true
    #是否允许 Broker 自动创建订阅组,建议线下开启,线上关闭
    autoCreateSubscriptionGroup=true
    #Broker 对外服务的监听端口
    listenPort=10911
    #删除文件时间点,默认凌晨 4点
    deleteWhen=04
    #文件保留时间,默认 48 小时
    fileReservedTime=120
    #commitLog每个文件的大小默认1G
    mapedFileSizeCommitLog=1073741824
    #ConsumeQueue每个文件默认存30W条,根据业务情况调整
    mapedFileSizeConsumeQueue=300000
    #destroyMapedFileIntervalForcibly=120000
    #redeleteHangedFileInterval=120000
    #检测物理文件磁盘空间
    diskMaxUsedSpaceRatio=88
    #存储路径
    storePathRootDir=/home/xm6f/dev/rocketmq/store
    #commitLog 存储路径
    storePathCommitLog=/home/xm6f/dev/rocketmq/store/commitlog
    #消费队列存储路径存储路径
    storePathConsumeQueue=/home/xm6f/dev/rocketmq/store/consumequeue
    #消息索引存储路径
    storePathIndex=/home/xm6f/dev/rocketmq/store/index
    #checkpoint 文件存储路径
    storeCheckpoint=/home/xm6f/dev/rocketmq/store/checkpoint
    #abort 文件存储路径
    abortFile=/home/xm6f/dev/rocketmq/store/abort
    #限制的消息大小
    maxMessageSize=65536
    #flushCommitLogLeastPages=4
    #flushConsumeQueueLeastPages=2
    #flushCommitLogThoroughInterval=10000
    #flushConsumeQueueThoroughInterval=60000
    #Broker 的角色
    #- ASYNC_MASTER 异步复制Master
    #- SYNC_MASTER 同步双写Master
    #- SLAVE
    brokerRole=SLAVE
    #刷盘方式
    #- ASYNC_FLUSH 异步刷盘
    #- SYNC_FLUSH 同步刷盘
    flushDiskType=ASYNC_FLUSH
    #checkTransactionMessageEnable=false
    #发消息线程池数量
    #sendMessageThreadPoolNums=128
    #拉消息线程池数量
    #pullMessageThreadPoolNums=128
    #强制指定本机IP,需要根据每台机器进行修改。官方介绍可为空,系统默认自动识别,但多网卡时IP地址可能读取错误
    brokerIP1=192.168.1.160
    

    7. 修改启动脚本参数【4台机器】

    # vim /home/xm6f/dev/rocketmq/bin/runbroker.sh
    JAVA_OPT="${JAVA_OPT} -server -Xms1g -Xmx1g -Xmn512m -
    XX:PermSize=128m -XX:MaxPermSize=320m"
    
    # vim /home/xm6f/dev/rocketmq/bin/runserver.sh 
    JAVA_OPT="${JAVA_OPT} -server -Xms1g -Xmx1g -Xmn512m - 
    XX:PermSize=128m -XX:MaxPermSize=320m"

    注意:启动脚本设置不合理,可能报如下异常:
    Error occurred during initialization of VM
    Too small new size specified

    8.防火墙
    默认启动用使用3个端口9876,10911,10912
    分别代表名称服务端口,broker端口,broker ha端口。
    ha端口haListenPort表示Master监听Slave请求的端口,默认为服务端口+1

    添加到/etc/sysconfig/iptables的filter表INPUT链中

    -A INPUT -m state --state NEW -m tcp -p tcp --dport 9876 -j ACCEPT
    -A INPUT -m state --state NEW -m tcp -p tcp --dport 10911 -j ACCEPT
    -A INPUT -m state --state NEW -m tcp -p tcp --dport 10912 -j ACCEPT

    添加完成后重启防火墙
    service iptables restart

    9.启动NameServer【4台机器】

    # cd /home/xm6f/dev/rocketmq/bin 
    # sudo nohup sh mqnamesrv &

    10.启动BrokerServer 【4台机器】

    注意配置文件需要根据实际配置/broker-X.properties

    # cd /home/xm6f/dev/rocketmq/bin 
    # 192.168.1.7
    # sudo nohup sh mqbroker -c /home/xm6f/dev/rocketmq/conf/2m-2s-async/broker-a.properties >/dev/null 2>&1 & 
    # 192.168.1.105
    # sudo nohup sh mqbroker -c /home/xm6f/dev/rocketmq/conf/2m-2s-async/broker-b.properties >/dev/null 2>&1 & 
    # 192.168.1.149
    # sudo nohup sh mqbroker -c /home/xm6f/dev/rocketmq/conf/2m-2s-async/broker-a-s.properties >/dev/null 2>&1 & 
    # 192.168.1.160
    # sudo nohup sh mqbroker -c /home/xm6f/dev/rocketmq/conf/2m-2s-async/broker-b-s.properties >/dev/null 2>&1 & 

    说明:IP位7为主节点,149是7的从节点。105是主节点,160是105的从节点

    输入jps看到如上图所示表示成功

    停止服务broker:

    # sh mqshutdown broker

    11.在tomcat中部署rocketmq-console.war
    修改rocketmq-console配置文件,找到/tomcat-8082/webapps/rocketmq-console/WEB-INF/classes/config.properties文件,添加如下:

    rocketmq.namesrv.addr=192.168.1.7:9876;192.168.1.105:9876;192.168.1.149:9876;192.168.1.160:9876
    throwDone=true

    启动tomcat,在浏览器输入:http://192.168.1.105:8082/rocketmq-console/

    多Master多Slave可以保证实时消费,比如说:我有一主一从,如果主机宕机,那么我从主机上获得的数据如果在没有从节点,那么这些消息将在主节点重启之前将无法被消费,直到主节点启动,如果这个主节点里面有从节点,从节点可以对外提供服务,并且从节点有从主节点同步过来的数据,那么还是可以将这些消息实时地消费掉。这点多Master方式无法做到。

    当宕机的主节点起来之后,会和从节点进行数据的同步,不会重复消费刚刚消费过的数据。

    12.数据清理

    # cd /home/xm6f/devrocketmq/bin
    # sh mqshutdown broker
    # sh mqshutdown namesrv
    # --等待停止
    # rm -rf /home/xm6f/devrocketmq/store
    # mkdir /home/xm6f/devrocketmq/store
    # mkdir /home/xm6f/devrocketmq/store/commitlog
    # mkdir /home/xm6f/devrocketmq/store/consumequeue
    # mkdir /home/xm6f/devrocketmq/store/index
    # --按照上面步骤重启NameServer与BrokerServer


    启动时报错:
    注释runserver.sh和runbroker.sh以下,并添加JAVA_HOME地址

    #[ ! -e "$JAVA_HOME/bin/java" ] && JAVA_HOME=/home/xm6f/dev/jdk1.7.0_80
    #[ ! -e "$JAVA_HOME/bin/java" ] && JAVA_HOME=/home/xm6f/dev/jdk1.7.0_80
    #[ ! -e "$JAVA_HOME/bin/java" ] && error_exit "Please set the JAVA_HOME variable in your environment, We need java(x64)!"
    
    export JAVA_HOME="/home/xm6f/dev/jdk1.7.0_80"
    export JAVA="$JAVA_HOME/bin/java"
    .....
  • 相关阅读:
    海量文档查同或聚类问题 Locality Sensitive Hash 算法
    Python之道 (大道至简)
    Inside C++ object Model构造函数
    Python标准模块logging
    Inside C++ object Model多态(ObjectOriented)
    应用Notepad++的正则表达式完成较复杂替换的一个小例子
    维护FAST可用的一些命令 持续更新
    SharePoint List的List Template ID明细表
    SharePoint 2010 Incoming Email怎么配?
    使用ContentDeploymentJob.AddQuickDeployObject的时候, 请注意第三个参数一定要使用Server Relative URL
  • 原文地址:https://www.cnblogs.com/linjiqin/p/7511062.html
Copyright © 2020-2023  润新知