今天继续学习kafka
Kafka命令
1）查看当前服务器中的所有topic
[atguigu@hadoop102 kafka]$ bin/kafka-topics.sh --list --zookeeper hadoop102:2181
2）创建topic
[atguigu@hadoop102 kafka]$ bin/kafka-topics.sh --create --zookeeper hadoop102:2181 –
replication-factor 3 --partitions 1 --topic first
选项说明：
–topic 定义topic名
–replication-factor 定义副本数
–partitions 定义分区数
3） 删除topic
[atguigu@hadoop102 kafka]$ bin/kafka-topics.sh --delete --zookeeper hadoop102:2181 --topic
first
需要server.properties中设置delete.topic.enable=true否则只是标记删除或者直接重启。
4）发送消息
[atguigu@hadoop102 kafka]$ bin/kafka-console-producer.sh --broker-list hadoop102:9092 --topic
first
5）消费消息
[atguigu@hadoop103 kafka]$ bin/kafka-console-consumer.sh --zookeeper hadoop102:2181 –
from-beginning --topic first
6）查看某个Topic的详情
[atguigu@hadoop102 kafka]$ bin/kafka-topics.sh --topic first --describe --zookeeper
hadoop102:2181
消费者组
hello world
wangan消费者是以consumer group消费者组的方式工作，由一个或者多个消费者组成一个组，共同消费一个
topic。每个分区在同一时间只能由group中的一个消费者读取，但是多个group可以同时消费这个
partition。在图中，有一个由三个消费者组成的group，有一个消费者读取主题中的两个分区，另外两
个分别读取一个分区。某个消费者读取某个分区，也可以叫做某个消费者是某个分区的拥有者。
在这种情况下，消费者可以通过水平扩展的方式同时读取大量的消息。另外，如果一个消费者失败了，
那么其他的group成员会自动负载均衡读取之前失败的消费者读取的分区。
消费方式
consumer采用pull（拉）模式从broker中读取数据。
push（推）模式很难适应消费速率不同的消费者，因为消息发送速率是由broker决定的。它的目标是
尽可能以最快速度传递消息，但是这样很容易造成consumer来不及处理消息，典型的表现就是拒绝服
务以及网络拥塞。而pull模式则可以根据consumer的消费能力以适当的速率消费消息。
对于Kafka而言，pull模式更合适，它可简化broker的设计，consumer可自主控制消费消息的速率，同
时consumer可以自己控制消费方式——即可批量消费也可逐条消费，同时还能选择不同的提交方式从
而实现不同的传输语义。
消费者组案例
1）需求：测试同一个消费者组中的消费者，同一时刻只能有一个消费者消费。
2）案例实操
（1）在hadoop102、hadoop103上修改/opt/module/kafka/config/consumer.properties配置文
件中的group.id属性为任意组名。
[wangan@hadoop103 config]$ vi consumer.properties
group.id=wangan
（2）在hadoop102、hadoop103上分别启动消费者
bin/kafka-console-consumer.sh --zookeeper hadoop102:2181 --topic first --consumer.config
config/consumer.properties
bin/kafka-console-consumer.sh --zookeeper hadoop102:2181 --topic first --consumer.config
config/consumer.properties
（3）在hadoop104上启动生产者
bin/kafka-console-producer.sh --broker-list hadoop102:9092 --topic first >hello world
（4）查看hadoop102和hadoop103的接收者。
同一时刻只有一个消费者接收到消息。