• RocketMQ学习笔记(7)----RocketMQ的整体架构


    1. RocketMQ主要的9个模块,如图:

      

    2. 模块介绍

      1. rocketmq-common:通用的常量枚举,基类方法或者数据结构,按描述的目标来分包,通俗易懂。报名有admin,consumer,filter,hook,message等。

      2. rocketmq-remoting:用Netty写的客户端和服务端,fastjson做的序列化,自定义二进制协议

      3. rocketmq-sevutil: 只用一个ServerUtil类,类注解是,只提供Server程序依赖,目的是为了拆解客户端依赖,尽可能减少客户端的依赖

      4. rocketmq-store: 存储服务,消息存储,索引存储,commitLog存储

      5. rocketmq-client: 客户端,包含producer端和consumer端,消息的生产发送和接收消费的过程。

      6. rocketmq-filtersrv: 消息过滤器server

      7. rocketmq-broker: 对consumer和producer来说是服务端,接收producer发来的消息并存储,同时consumer来这里拉取消息。

      8. rocketmq-tools:命令行工具。

      9. rocketmq-namesrv:NameServer,类似zookeeper注册中心,这里保存着消息的TopicName,队列等运行时的meta信息。一般系统分dataNode和nameNode,这里是nameNode。

    3. 结构层次说明

      模块依赖:最底层为基础实现,最上层为对外提供的服务模块

      

    4. NameServer与Zookeeper

      在rocketmq的早版本(2.x)的时候,是没有namesrv组件的,用的是zookeeper做分布式协调和服务发现,但是后期阿里数据根据实际业务需求进行改进和优化,自组研发了轻量级的namesrv,用于注册Client服务与Broker的请求路由工作,namesrv上不做任何消息的位置存储(频繁操作zookeeper的位置存储数据会影响整体集群性能)

      rocketmq-namesrv模块介绍:

      rocketmq-namesrv扮演着nameNode角色,记录运行时消息相关的meta信息以及broker的filtersrv运行时信息,可以部署集群。

      我们可以吧rocketmq-namesrv理解成一个轻量级的zookeeper,他比zookeeper性能更好,并且比zookeeper的可靠性更强。

      rocketmq-namesrv主要是节点之间相互进行心跳检测,数据通信,集群高可靠性,一致性,容错性等方面的核心模块。

      rocketmq-namesrv的底层通信机制与neetty进行联系,上层通信与各个模块产生强一致性的对应关系,当broker,producer,consumer都运行后,namesrv一共有八类线程,如:守护线程,定时任务线程,netty的boss线程,NettyEventExecuter线程,DestroyJavaJVM线程,Work线程,Handler线程,RemotingExecutorThread线程。

    5. 底层通信

      1. ServerHouseKeepingService:守护线程,本质是ChannelEventListener,监听broker的channel变化来更新本地的RouteInfo。

      2. NSScheduledThread1: 定时任务线程,定时跑2个任务,第一个是,每隔十分钟扫描出不活动的broker,然后冲routeInfo中删除,第二个是,每隔十分钟打印configTable的消息。

      3. NettyBossSelector: Netty的boss线程(Accept线程),这里只有一个线程

      4.NettyEventExecuter:一个单独的线程,监听NettyChannel状态变化和通知ChannelEventListener要响应的动作。

      5. DestroyJavaVM:Java虚拟机析构钩子,一般是当虚拟机关闭时用来清理或者释放资源的。

      6. NettyServerSelector_x_x: Netty的Work线程(io)线程,这里可能有多个线程

      7. NettyServerWorkerThread_x:执行ChannelHandler方法的线程,ChannelHandler运行在线程上,这里可能有多个线程。

      8. RemotingExecutorThread_x: 服务端逻辑线程,这里可能有多个线程。rocketmq-namesrv扮演者nameNode角色,记录运行时meta信息已经broker和filtersrv运行时信息,可以部署集群。

    6. 数据存储

      rocketmq-broker模块介绍:

      这个是数据存储的核心,也就是真正的MQ服务器,我们所谓的消息存储,接收,拉去,推送这些操作都是在broker上进行的。

      rocketmq-filtersrv:

      在rocketmq中,使用独立的一个模块去对数据进行过滤,实现了真正意义上的高内聚,低耦合的设计思想。

      我们在使用rocketmq-filtersrv模块的时候,也需要启动filter服务。

  • 相关阅读:
    Linux下Rootkit的另类检测
    用iptables抗御SYN Flood攻击
    用iptables抗御SYN Flood攻击
    突破极限 解决大硬盘上安装Sco Unix新思路
    突破极限 解决大硬盘上安装Sco Unix新思路
    安装、配置Vmware Esx Server 3.5视频全过程
    安装、配置Vmware Esx Server 3.5视频全过程
    应该如何对企业局域网性能传输进行测试分析
    Leetcode-944 Delete Columns to Make Sorted(删除列以使之有序)
    Leetcode-941 Valid Mountain Array(有效的山脉数组)
  • 原文地址:https://www.cnblogs.com/Eternally-dream/p/9952989.html
Copyright © 2020-2023  润新知