Kafka与常见消息队列的对比
RabbitMQ
- Erlang编写
- 支持很多的协议:AMQP,XMPP, SMTP, STOMP
- 非常重量级,更适合于企业级的开发
- 发送给客户端时先在中心队列排队。对路由,负载均衡或者数据持久化都有很好的支持。
Redis
- 基于Key-Value对的NoSQL数据库
- 入队时,当数据比较小时Redis的性能要高于RabbitMQ,而如果数据大小超过了10K,Redis则慢的无法忍受;
- 出队时,无论数据大小,Redis都表现出非常好的性能,而RabbitMQ的出队性能则远低于Redis。
ZeroMQ
- 号称最快的消息队列系统,尤其针对大吞吐量的需求场景。
- 高级/复杂的队列,但是开发人员需要自己组合多种技术框架,技术上的复杂度是对这MQ能够应用成功的挑战。
- 具有一个独特的非中间件的模式,不需要安装和运行一个消息服务器或中间件
- ZeroMQ仅提供非持久性的队列,也就是说如果宕机,数据将会丢失。
ActiveMQ
- 类似于ZeroMQ,它能够以代理人和点对点的技术实现队列。
- 类似于RabbitMQ,它少量代码就可以高效地实现高级应用场景。
Kafka/Jafka
- 高性能跨语言分布式发布/订阅消息队列系统
- 快速持久化,可以在O(1)的系统开销下进行消息持久化;
- 高吞吐,在一台普通的服务器上既可以达到10W/s的吞吐速率;
- 完全的分布式系统,Broker、Producer、Consumer都原生自动支持分布式,自动实现负载均衡;
- 支持Hadoop数据并行加载,对于像Hadoop的一样的日志数据和离线分析系统,但又要求实时处理的限制,这是一个可行的解决方案。Kafka通过Hadoop的并行加载机制统一了在线和离线的消息处理。
- 一个非常轻量级的消息系统,除了性能非常好之外,还是一个工作良好的分布式系统。