1.2入门
1.2a.kafka版本 kafka_2.11-0.8.2.2
1.2.b配置文件中需要注意的地方,broker.id=0这个在每台机器上是不一样的,需要scp复制之后手动去修改
broker.id=0 # Hostname the broker will bind to. If not set, the server will bind to all interfaces host.name=mini1 log.dirs=/home/hadoop/apps/kafka/tmp/kafka-logs num.partitions=2 # root directory for all kafka znodes. zookeeper.connect=mini1:2181,mini2:2181,mini3:2181
kafka-2.10-0.10.0.1 配置与0.8版本的区别 新版本：listeners=PLAINTEXT://192.168.133.133:19092 log.dirs=/opt/kafka/kafkalogs/ 10.0.1中不用配置host.name
scp 分发到其他机器上,
依次修改各服务器上配置文件的的broker.id，分别是0,1,2不得重复。
1.2.c启动:
依次在各节点上启动kafka
bin/kafka-server-start.sh config/server.properties
注意路径,如果执行出错,按照上面给的路径执行,因为在配置文件中可能用到了相对路径Kafka常用操作命令
查看当前服务器中的所有topic bin/kafka-topics.sh --list --zookeeper mini1:2181 创建topic ./kafka-topics.sh --create --zookeeper mini1:2181 --replication-factor 1 --partitions 3 --topic first console 中测试
bin/kafka-console-producer.sh --broker-list mini1:9092 --topic qqww
-- 新版kafka命令
bin/kafka-console-consumer.sh --bootstrap-server mini1:9092 --zookeeper mini1:2181 --from-beginning --topic qqww
删除topic
sh bin/kafka-topics.sh --delete --zookeeper mini1:2181 --topic test 需要server.properties中设置delete.topic.enable=true否则只是标记删除或者直接重启。 通过shell命令发送消息 kafka-console-producer.sh --broker-list kafka01:9092 --topic test11 通过shell消费消息 sh bin/kafka-console-consumer.sh --zookeeper mini1:2181 --from-beginning --topic test1 查看消费位置 sh kafka-run-class.sh kafka.tools.ConsumerOffsetChecker --zookeeper mini1:2181 --group testGroup 查看某个Topic的详情 sh kafka-topics.sh --topic test --describe --zookeeper mini1:2181
查看所有消费组
bin/kafka-consumer-groups.sh --zookeeper mini1:2181 --list
1.学习一个新东西首先是了解,其次是入门.
1.1了解可以看官网,翻译,博客,
1.2入门,可以从下面的步骤着手,
a.下载安装包安装,记录安装方法
b.配置文件,常用配置熟悉
c.启动方式
d.wordCount,或者hellokitty的demo,在hadoop中,storm,都都有wordcount的例子,在他们的jar包中就有反编译之后就是一个demo