kafka架构,消息存储和生成消费模型,Kafka与其他队列对比,零拷贝,Kafka基本介绍
一、初识kafka
kafka对消息保存时根据Topic进行归类,发送消息者成为Producer,消息接受者成为Consumer,此外kafka集群有多个kafka实例组成,每个实例()成为broker。无论是kafka集群,还是producer和consumer都依赖于zookeeper来保证系统可用性集群保存一些meta信息。
kafka:数据直接存磁盘,0拷贝;默认保存7天的数据,7天内还可以在消费。
kafka可以给spark提供持续的输出。
1.1SparkStreaming+Kafka好处:
- -解耦
- -缓冲
消息队列常见场景:
- -系统之间解耦合
- -峰值压力缓冲
- -异步通信
1.2Kafka的架构:
- producer:消息生成者
- consumer:消息消费者
- broker:kafka集群的server,负责处理消息读、写请求,存储消息
- topic:消息队列/分类
二、kafka的消息存储和生成消费模型
三、kafka特点