• moonmq: 用go实现的高性能message queue


    介绍

    moonmq是一个用go实现的高性能消息队列系统,后续准备用于我们消息推送服务以及各个后台的异步任务。

    在设计上面,moonmq主要借鉴了rabbitmq以及rocketmq相关的思想,但是做了很多减法,毕竟我不是要设计成一个非常通用的mq。

    名词解释

    • publisher,消息生产者
    • consumer,消息消费者
    • broker,消息中转站
    • queue,消息存储队列

    publisher给一个命名的queue发送消息msg,broker负责将msg存放在queue里面。

    consumer可以关注自己感兴趣的queue,这样当queue里面有消息的时候,broker就会将该消息推送给该consumer。

    推拉模型

    在rocketmq里面,支持的是pull msg,而rabbitmq则是支持push和pull msg。moonmq只支持push msg。主要有如下考量:

    • 当consumer在线的时候,push是最及时的,因为这时候铁定能把msg push成功。
    • 当consumer离线,broker会保存离线消息,当consumer上线之后,broker仍然按照push的方式将离线消息进行推送。

    另外,因为moonmq后续会支持我们的消息推送系统,如果采用pull模型,几十万的consumer定期的pull,我有点担心moonmq会吃不消。

    消息类型

    moonmq将msg分为direct和fanout,fanout就是广播消息,moonmq会将任何订阅了该queue的consumer进行msg push。

    如果msg的type为direct,moonmq将会采用轮询的方式,选择一个consumer进行msg push。

    消息优先级

    moonmq不支持消息优先级,处理起来会很麻烦,而且通常我们并不需要特别精细的优先级控制。

    可以通过一个简单的方式实现粗粒度的优先级控制:

    • 设置queue1,queue2,queue3三个队列,queue1用来处理保存优先级最高的消息,queue2次之,queue3最低
    • publisher发送消息的时候根据优先级发送到指定的queue上面去
    • 我们可以有多个consumer处理queue1的消息,譬如3个,然后用2个处理queue2的,1个处理queue1的,这样实现优先级控制。

    消息过滤

    moonmq通过routing key来进行消息过滤。

    publisher在给特定queue发送msg的时候,还可以指定对应的routing key,只有关注了该queue同时也指定了相同的routing key的consumer才会收到该msg。

    Ack

    moonmq支持ack机制,当push一个msg到consumer的时候,consumer必须回应一个ack,moonmq才认为msg push成功。如果长时间没有ack,则moonmq会重新选择一个consumer再次发送。

    ack能够很大程度的保证消息推送的成功率,但是对于消息的快速推送会有影响,所以moonmq也支持no ack模式,这种模式下moonmq只要发送成功了msg,就认为push成功,无需等待ack的回执。

    延迟消息

    这个现在还没支持,后续是情况而定

    定时消息

    难度比较大,不会实现

    协议

    moonmq采用的是类似rocketmq的协议,如下:

    |total length(4 bytes)|header length(4 bytes)|header json|body|
    
    total length = 4 + len(header json) + len(body)
    header length = len(header json)
    

    在moonmq里面,我们使用Proto来定义协议

    type Proto struct {
        Method uint32 `json:"method"`
    
        Fields map[string]string `json:"fields"`
    
        Body []byte `json:"-"`
    }
    

    moonmq的任何协议,都需要带上method,我们通过method进行实际的消息处理。

    moonmq的method参考rabbitmq,有如下几种类型的method:

    • 同步request method,客户端在发送request method之后必须等待对应的response method,在等待的过程中也能够处理push,error等异步method。
    • 同步response method,对应特定的request method。
    • 异步method,发送之后无需等待。

    现阶段,moonmq支持如下同步method:

    • auth, auth_ok
    • publish, publish_o
    • bind, bind_ok
    • unbind, unbind_ok

    同时支持如下异步method:

    • push
    • error
    • heartbeat
    • ack

    后续

    这只是moonmq的一个简单介绍,后续我们会不断完善moonmq,争取也能成为一个不错的mq产品。

    moonmq的代码在这里https://github.com/siddontang/moonmq,期待大家的反馈。

  • 相关阅读:
    [小技巧]虚拟机服务管理小程序
    JNI学习
    Java读取Properties文件的七种方法
    UFLDL教程练习(exercise)答案(1)
    win7让库显示“我的电脑”
    关于asp.net中绑定的模版列CheckBox无法触发OnCheckedChanged事件的问题
    使用OLEDB读取不同版本Excel数据的连接字符串设置
    身为程序员,电脑的时间格式是不能随意设置的
    实现sqlserver数据根据不同时间周期分组
    常用Web Service汇总(天气预报、时刻表等)【转】
  • 原文地址:https://www.cnblogs.com/xiaowangba/p/6313761.html
Copyright © 2020-2023  润新知