kafka安装使用

 操作系统：

centos版本	7.4
防火墙	关闭
selinux	关闭
java版本	1.8
kafkazk1	192.168.10.129

[root@kafkazk1 ~]# wget http://mirror.bit.edu.cn/apache/zookeeper/zookeeper-3.4.14/zookeeper-3.4.14.tar.gz

[root@kafkazk1 ~]# tar zxf zookeeper-3.4.14.tar.gz -C /usr/local/

[root@kafkazk1 ~]# cd /usr/local/zookeeper-3.4.14/conf/

[root@kafkazk1 conf]# cp zoo_sample.cfg zoo.cfg

[root@kafkazk1 conf]# vim zoo.cfg

#设置控制心态和超时，时间为2000毫秒

tickTime=2000

#设置心态时间间隔数，10表示10*2000=20秒

initLimit=10

#设置请求和应答时间长度最初不能超过多少个tickTime的时间长度，总的时间长度时5*2000=10秒

syncLimit=5

#设置服务进程监听的TCP端口，默认为2181

clientPort=2181

#配置存储快照文件的目录

dataDir=/data/zookeeper

#server.A=B:C:D，其中A时一个数字，表示这是第几个服务器；B时这个服务器的IP地址;C表示的时这个服务器与集群中的Leader服务器通信的端口；D表示如果集群中的Leader服务器宕机了，需要一个端口来重新进行选举，选出一个新的Leader，而这个端口就是用来执行选举时服务器相互通信的端口

server.1=192.168.10.129:2888:3888

[root@kafkazk1 conf]# mkdir -p /data/zookeeper

[root@kafkazk1 bin]# vim /etc/profile

export ZOOKEEPER_HOME=/usr/local/zookeeper-3.4.14

export PATH=$ZOOKEEPER_HOME/bin:$PATH

[root@kafkazk1 bin]# source /etc/profile

[root@kafkazk1 zookeeper-3.4.14]# yum -y install java

[root@kafkazk1 zookeeper-3.4.14]# zkServer.sh start

 

 

[root@kafkazk1 ~]# wget https://archive.apache.org/dist/kafka/2.1.0/kafka_2.12-2.1.0.tgz

[root@kafkazk1 ~]# gzip -dv kafka_2.12-2.1.0.tgz

[root@kafkazk1 ~]# tar -xvf kafka_2.12-2.1.0.tar

[root@kafkazk1 ~]# mv kafka_2.12-2.1.0 /usr/local/kafka

[root@kafkazk1 ~]# vim /usr/local/kafka/config/server.properties

#每一个broker在集群中的唯一表示

broker.id=1

#设置kafka的监听地址与端口

listeners=PLAINTEXT://192.168.10.129:9092

#设置kafka保持的数据位置

log.dirs=/usr/local/kafka/kafka-logs

设置topic有多少个分区

num.partitions=6

#设置kafka中消息保持的时间

log.retention.hours=60

#配置partition中每个segment数据文件的大小，默认时1GB

log.segment.bytes=1073741824

#设置zookeeper所在的地址

zookeeper.connect=192.168.10.129:2181

#设置是否自动创建topic

auto.create.topics.enable=true

#设置kafka自动删除物理上面的topic

delete.topic.enable=true

[root@kafkazk1 ~]# cd /usr/local/kafka/

[root@kafkazk1 kafka]# nohup bin/kafka-server-start.sh config/server.properties &

[root@kafkazk1 kafka]# netstat -tunlp|grep 2181

tcp6 0 0 :::2181 :::* LISTEN 1618/java

[root@kafkazk1 bin]# netstat -tunlp|grep 9092

 

#创建一个topic

[root@kafkazk1 bin]# ./kafka-topics.sh -create --zookeeper 192.168.10.129:2181 --replication-factor 1 --partitions 3 --topic testtopic

[root@kafkazk1 bin]# ./kafka-topics.sh -create --zookeeper 192.168.10.129:2181 --replication-factor 1 --partitions 1 --topic test

#查看创建的topic

[root@kafkazk1 bin]# ./kafka-topics.sh --zookeeper 192.168.10.129:2181 --list

 

#测试生产者消息

[root@kafkazk1 bin]# ./kafka-console-producer.sh --broker-list 192.168.10.129:9092 --topic testtopic

 

#测试消费者消息

[root@kafkazk1 bin]# ./kafka-console-consumer.sh --bootstrap-server 192.168.10.129:9092 --topic testtopic

 

#删除topic后会有个提示，如果kafka没有设置delete.topic.enable为true的话，那么仅仅是个标记删除，而非真正的删除

[root@kafkazk1 bin]# ./kafka-topics.sh --zookeeper 192.168.10.129:2181 --delete --topic testtopic

 

#查看删除的结果

[root@kafkazk1 bin]# ./kafka-topics.sh --zookeeper 192.168.10.129:2181 --list