Ubuntu安装部署Kafka

Ubuntu安装部署Kafka

环境： Ubuntu 18.04.4 LTS ，JDK1.8，kafka_2.12-2.3.1

确保已经安装了JDK，JDK安装过程不再赘述。可参考文章xxxx

一、下载二进制安装包

1.1 官网地址:https://kafka.apache.org/downloads

1.2 国内镜像地址：https://mirrors.tuna.tsinghua.edu.cn/apache/kafka/2.3.1/

二、安装

2.1 上传二进制安装包到服务器/usr/local目录下并解压

##进入/usr/local目录
# cd /usr/local
##解压
# tar xvf kafka_2.12-2.3.1.tgz
##创建软链接
# ln -sv kafka_2.12-2.3.1 kafka

2.2 创建kafka的日志目录

# cd /usr/local/kafka
# mkdir logs

2.3 修改配置文件 server.properties

# vim /usr/local/kafka/config/server.properties

修改broker.id的值为1，因为kafka一般线上均为集群部署，所以每个单机有自己的id，本次测试只是单机所以随意设定为1

指定kafka的日志文件目录为2.2所创建的目录

2.4 启动zookeeper

zookeeper可以自己搭建，参考文章xxx。这里我使用kafka自带的zk

# cd /usr/loacl/kafka/
# ./bin/zookeeper-server-start.sh -daemon config/zookeeper.properties
# jps

检查一下是否启动成功，QuorumPeerMain表示启动成功

2.5 启动kafka

# cd /usr/loacl/kafka/
# ./bin/kafka-server-start.sh -daemon  config/server.properties

检查一下启动是否成功，kafka占用端口为9092，zookeeper占用端口2181

三、验证

3.1 创建topic

指定zookeeper的地址、端口，副本个数为1（因为我只是单机一个broker） 分区数1 和topic名称test

# cd /usr/local/kafka
# bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test

3.2 查看top列表

# cd /usr/local/kafka
# bin/kafka-topics.sh --list --zookeeper localhost:2181

3.3 启动生产者

--broker-list 指定broker集群的端口 多个重甲你用都好隔开 ，--topic指定具体的topic

# cd /usr/local/kafka
# bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test

3.4 启动消费者

另开一个终端，启动消费者。指定broker集群的端口 和具体的topic --from-beginning代表从头开始读取消息

# cd /usr/local/kafka
# bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test --from-beginning

最终效果

四、命令总结

#启动zookeeper
# bin/zookeeper-server-start.sh -daemon config/zookeeper.properties
#启动kafka服务器
# bin/kafka-server-start.sh config/server.properties
#创建topic  
# bin/kafka-topics.sh --create --zookeeper localhost:2181 --repication-factor 1 --partitions 1 --topic test  
#查看topic列表
# bin/kafka-topics.sh --list --zookeeper localhost:2181  
#启动生产者
# bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test  
#启动消费者
# bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test --from-beginning

>特别鸣谢：
>kafka的下载安装
>ubuntu18.04下Kafka安装与部署
>kafka安装及部署