一,环境准备
JDK + Kafka
二,Kafka配置文件说明
/kafka_2.11-1.1.0/config/server.properties(见下图)
/kafka_2.11-1.1.0/config/zookeeper.properties
三,服务启动
先启动zookeeper,再启动kafka
bin/zookeeper-server-start.sh config/zookeeper.properties &
bin/kafka-server-start.sh config/server.properties &
通过jps -l查看进程是否启动成功:
四,Topic创建
bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 3 --partitions 3 --topic test
这条命令会创建一个名为test的topic,有3个分区,每个分区需分配3个副本。topic创建主要分为两个部分:命令行部分+后台(controller)逻辑部分,如下图所示。主要的思想就是后台逻辑会监听zookeeper下对应的目录节点,一旦发起topic创建命令,该命令会创建新的数据节点从而触发后台的创建逻辑。
bin/kafka-topics.sh --list --zookeeper localhost:2181 用来查已经创建的Topic
五,消息发送和消费
-- ip和端口 见kafka配置属性文件
root@dev02:/usr/local/kafka/kafka_2.12-2.0.0$ bin/kafka-console-producer.sh --broker-list 192.168.101.75:6667 --topic test >test111 >test222 root@dev02:/usr/local/kafka/kafka_2.12-2.0.0$ bin/kafka-console-producer.sh --broker-list 192.168.101.75:6667 --topic test >haha root@dev02:/usr/local/kafka/kafka_2.12-2.0.0$ bin/kafka-console-consumer.sh --bootstrap-server 192.168.101.75:6667 --topic test --from-beginning test111 test222 haha