消息队列两种模式
1.点对点：一对一，消费者主动拉取数据，消息收到后消息清除
2.发布/订阅模式：一对多，消费者消费数据之后不会消除消息
- 推-->以同样的方式传给消费者，可能导致消费者资源处理不足或消费者资源浪费（不同消费者处理能力不一样）
- 拉取-->消费者要不断轮询队列中是否有消息
基础架构
Zookeeper在Kafka中的作用
Kafka集群中有一个broker会被选举为Controller，负责管理集群broker的上下线，所有topic的分区副本分配和leader选举等工作。Controller的管理工作都是依赖于ZooKeeper的。
消费者分区分配策略
- RoundRobin
- Range
1.轮询策略中，会把消费者订阅的一个或多个主题当成一个整体，适合于订阅相同主题的消费者
2.Range策略，以订阅的主题为主体，平均分给消费者
offset维护
1.0.9版本之后，消费者读取的内容offset信息存在kafka端
2.修改配置文件consumer.properties
exclude.internal.topics=false;
2.读取offset
bin/kafka-console-consumer.sh --topic __consumer_offsets --zookeeper hadoop:2181 --formatter"kafka.coordinator.group.GroupMetadataManager$OffsetsMessageFormatter" --consumer.config config/consumer.properties --from-beginning