• Rabbitmq消息持久化


    消息的可靠性是RabbitMQ的一大特色,那么RabbitMQ是如何保证消息可靠性的呢——消息持久化。 
    为了保证RabbitMQ在退出或者crash等异常情况下数据没有丢失,需要将queueexchangeMessage都持久化。

    queue的持久化

    queue的持久化是通过durable=true来实现的。 
    一般程序中这么使用:

    /**

    * amqp_queue_declare

    *

    * @param [in] state connection state TCP连接

    * @param [in] channel the channel to do the RPC on 信道

    * @param [in] queue queue 队列名称

    * @param [in] passive passive

    * @param [in] durable durable 是否持久化

    * @param [in] exclusive exclusive 是否排他

    * @param [in] auto_delete auto_delete 是否自动删除

    * @param [in] arguments arguments

    * @returns amqp_queue_declare_ok_t

    */

    AMQP_PUBLIC_FUNCTION

    amqp_queue_declare_ok_t *

    AMQP_CALL amqp_queue_declare(amqp_connection_state_t state, amqp_channel_t channel, amqp_bytes_t queue, amqp_boolean_t passive, amqp_boolean_t durable, amqp_boolean_t exclusive, amqp_boolean_t auto_delete, amqp_table_t arguments)

    {

    amqp_queue_declare_t req;

    req.ticket = 0;

    req.queue = queue;

    req.passive = passive;

    req.durable = durable;

    req.exclusive = exclusive;

    req.auto_delete = auto_delete;

    req.nowait = 0;

    req.arguments = arguments;

     

    return amqp_simple_rpc_decoded(state, channel, AMQP_QUEUE_DECLARE_METHOD, AMQP_QUEUE_DECLARE_OK_METHOD, &req);

    }

    @param [in] durable 在申明一个队列时,有一个参数amqp_boolean_t durable用来指定该队列中的消息是否持久化

    @param [in] exclusive 排他队列,如果一个队列被声明为排他队列,该队列仅对首次申明它的连接可见,并在连接断开时自动删除。这里需要注意三点:1. 排他队列是基于连接可见的,同一连接的不同信道是可以同时访问同一连接创建的排他队列;2."首次",如果一个连接已经声明了一个排他队列,其他连接是不允许建立同名的排他队列的,这个与普通队列不同;3.即使该队列是持久化的,一旦连接关闭或者客户端退出,该排他队列都会被自动删除的,这种队列适用于一个客户端发送读取消息的应用场景;

    @param [in] auto_delete 自动删除,如果该队列没有任何订阅的消费者的话,该队列会被自动删除。这种队列适用于临时队列;

    消息的持久化

    如果将queue的持久化标识durable设置为true,则代表是一个持久的队列,那么在服务重启之后,也会存在,因为服务会把持久化的queue存放在硬盘上,当服务重启的时候,会重新创建之前被持久化的queue。队列是可以被持久化,但是里面的消息是否为持久化那还要看消息的持久化设置。也就是说,重启之前那个queue里面还有没有发出去的消息的话,重启之后那队列里面是不是还存在原来的消息,这个就要取决于发生着在发送消息时对消息的设置了。 
    如果要在重启后保持消息的持久化必须设置消息的持久化的标识;

    amqp_basic_properties_t props;

    props._flags = AMQP_BASIC_CONTENT_TYPE_FLAG | AMQP_BASIC_DELIVERY_MODE_FLAG;

    props.content_type = amqp_cstring_bytes("text/plain");

    props.delivery_mode = 2; /* persistent delivery mode */

    die_on_error(amqp_basic_publish(conn,

    1,

    amqp_cstring_bytes(exchange),

    amqp_cstring_bytes(routingkey),

    0,

    0,

    &props,

    amqp_cstring_bytes("test message")),

    "Publishing");

    发送消息之前要先设置一个消息属性结构体amqp_basic_properties_tdelivery_mode指定消息的持久化设置;

    delivery_mode=2将消息设置为持久化模式,队列中这条消息将会被持久化保存;

    设置了队列和消息的持久化之后,当broker服务重启的之后,消息依旧存在。单只设置队列持久化,重启之后消息会丢失;单只设置消息的持久化,

    重启之后队列消失,既而消息也丢失。单单设置消息持久化而不设置队列的持久化显得毫无意义。

    exchange的持久化

    上面阐述了队列的持久化和消息的持久化,如果不设置exchange的持久化对消息的可靠性来说没有什么影响,但是同样如果exchange不设置持久化,

    那么当broker服务重启之后,exchange将不复存在,那么既而发送方rabbitmq producer就无法正常发送消息。这里博主建议,同样设置exchange的持久化。

    exchange的持久化设置也特别简单;

    /**

    * amqp_exchange_declare

    *

    * @param [in] state connection state

    * @param [in] channel the channel to do the RPC on

    * @param [in] exchange exchange

    * @param [in] type type

    * @param [in] passive passive

    * @param [in] durable durable

    * @param [in] auto_delete auto_delete

    * @param [in] internal internal

    * @param [in] arguments arguments

    * @returns amqp_exchange_declare_ok_t

    */

    AMQP_PUBLIC_FUNCTION

    amqp_exchange_declare_ok_t *

    AMQP_CALL amqp_exchange_declare(amqp_connection_state_t state, amqp_channel_t channel, amqp_bytes_t exchange, amqp_bytes_t type, amqp_boolean_t passive, amqp_boolean_t durable, amqp_boolean_t auto_delete, amqp_boolean_t internal, amqp_table_t arguments)

    {

    amqp_exchange_declare_t req;

    req.ticket = 0;

    req.exchange = exchange;

    req.type = type;

    req.passive = passive;

    req.durable = durable;

    req.auto_delete = auto_delete;

    req.internal = internal;

    req.nowait = 0;

    req.arguments = arguments;

     

    return amqp_simple_rpc_decoded(state, channel, AMQP_EXCHANGE_DECLARE_METHOD, AMQP_EXCHANGE_DECLARE_OK_METHOD, &req);

    }

    参数和队列创建的类似不做详细解释;

    进一步讨论

    1.queueexchange, message等都设置了持久化之后就能保证100%保证数据不丢失了嚒? 
    答案是否定的。 
    首先,从consumer端来说,如果这时autoAck=true,那么当consumer接收到相关消息之后,还没来得及处理就crash掉了,那么这样也算数据丢失,这种情况也好处理,只需将autoAck设置为false(方法定义如下),然后在正确处理完消息之后进行手动ackchannel.basicAck);

    其次,关键的问题是消息在正确存入RabbitMQ之后,还需要有一段时间(这个时间很短,但不可忽视)才能存入磁盘之中,RabbitMQ并不是为每条消息都做fsync的处理,可能仅仅保存到cache中而不是物理磁盘上,在这段时间内RabbitMQ broker发生crash, 消息保存到cache但是还没来得及落盘,那么这些消息将会丢失。那么这个怎么解决呢?首先可以引入RabbitMQmirrored-queue即镜像队列,这个相当于配置了副本,当master在此特殊时间内crash掉,可以自动切换到slave,这样有效的保障了HA, 除非整个集群都挂掉,这样也不能完全的100%保障RabbitMQ不丢消息,但比没有mirrored-queue的要好很多,很多现实生产环境下都是配置了mirrored-queue的。还有要在producer引入事务机制或者Confirm机制来确保消息已经正确的发送至broker端,有关RabbitMQ的事务机制或者Confirm机制可以参考:RabbitMQ之消息确认机制(事务+Confirm;幸亏本文的主题是讨论RabbitMQ的持久化而不是可靠性,不然就一发不可收拾了。RabbitMQ的可靠性涉及producer端的确认机制、broker端的镜像队列的配置以及consumer端的确认机制,要想确保消息的可靠性越高,那么性能也会随之而降,鱼和熊掌不可兼得,关键在于选择和取舍。

    2.消息什么时候刷到磁盘? 
    写入文件前会有一个Buffer,大小为1M,数据在写入文件时,首先会写入到这个Buffer,如果Buffer已满,则会将Buffer写入到文件(未必刷到磁盘)。 
    有个固定的刷盘时间:25ms,也就是不管Buffer满不满,每个25msBuffer里的数据及未刷新到磁盘的文件内容必定会刷到磁盘。 
    每次消息写入后,如果没有后续写入请求,则会直接将已写入的消息刷到磁盘:使用Erlangreceive x after 0实现,只要进程的信箱里没有消息,则产生一个timeout消息,而timeout会触发刷盘操作。

     

     

  • 相关阅读:
    ACM成长之路
    洛谷P1047 校门外的树
    洛谷P1046 陶陶摘苹果
    2017 ACM-ICPC 亚洲区(南宁赛区)网络赛 F题
    图论:POJ2186-Popular Cows (求强连通分量)
    DFS:POJ1562-Oil Deposits(求连通块个数)
    DFS:POJ3620-Avoid The Lakes(求最基本的联通块)
    map函数的应用:UVa156-Ananagrams
    set的应用:UVa10815-Andy's First Dictionary
    水题:UVa253-Cube painting
  • 原文地址:https://www.cnblogs.com/skiing886/p/8446174.html
Copyright © 2020-2023  润新知