消息队列简介
消息队列三角色
队列服务端 队列生产者 队列消费者
消息队列产品
RabbitMQ:Erlang编写的消息队列产品,企业级消息队列软件,支持消息负载均衡,数据持久化等。https://www.rabbitmq.com/
ZeroMQ :saltstack软件使用此消息,速度最快。
Redis:key-value的系统,也支持队列数据结构,轻量级消息队列
Kafka:由Scala编写,目标是为处理实时数据提供一个统一、高通量、低等待的平台
消息队列作用
(1)程序解耦
允许你独立的扩展或修改两边的处理过程,只要确保它们遵守同样的接口约束。
(2)冗余
消息队列把数据进行持久化直到它们已经被完全处理,通过这一方式规避了数据丢失风险。许多消息队列所采用的"插入-获取-删除"范式中,在把一个消息从队列中删除之前,需要你的处理系统明确的指出该消息已经被处理完毕,从而确保你的数据被安全的保存直到你使用完毕。
(3)峰值处理能力
使用消息队列能够使关键组件顶住突发的访问压力,而不会因为突发的超负荷的请求而完全崩溃。
(4)可恢复性
系统的一部分组件失效时,不会影响到整个系统。消息队列降低了进程间的耦合度,所以即使一个处理消息的进程挂掉,加入队列中的消息仍然可以在系统恢复后被处理。
(5)顺序保证
大部分消息队列本来就是排序的,并且能保证数据会按照特定的顺序来处理。(Kafka保证一个Partition内的消息的有序性)
(6)缓冲
有助于控制和优化数据流经过系统的速度,解决生产消息和消费消息的处理速度不一致的情况。
(7)异步通信
很多时候,用户不想也不需要立即处理消息。比如发红包,发短信等流程。消息队列提供了异步处理机制,允许用户把一个消息放入队列,但并不立即处理它。想向队列中放入多少消息就放多少,然后在需要的时候再去处理它们