centos7安装部署kafka_2.13-2.4.1集群

需要三台linux服务器，此安装手册以centos7为例，假设这三台服务器主机ip为10.20.31.116,10.20.31.117,10.20.31.137：

1.     系统需求

   JDK版本：jdk1.8

   Zookeeper版本：zookeeper-3.5.8

   Kafka版本：kafka_2.13-2.4.1

   注意：防火墙端口开放

2.     集群搭建

2.1   集群jdk1.8.x环境搭建（集群所有节点都需要配置）

2.1.1         官方下载jdk，并上传到服务器/opt目录下，此文档下载文件为jdk1.8.0_101.tar

2.1.2         解压jdk压缩文件

cd /opt/ && tar -zxvf jdk1.8.0_101.tar.gz

2.1.3         配置系统环境变量

vi /etc/profile

export JAVA_HOME=/opt/jdk1.8.0_101
export PATH=$JAVA_HOME/bin:$PATH

编辑后保存并退出   ：wq

2.1.4         使配置文件生效

source  /etc/profile

2.1.5         查看java版本

java -version

2.2   zookeeper集群环境搭建（集群所有节点都需要配置）

2.2.1         下载并解压

官方地址：https://www.apache.org/dyn/closer.cgi/zookeeper/

下载版本3.5.8 ：

https://mirrors.tuna.tsinghua.edu.cn/apache/zookeeper/zookeeper-3.5.8/apache-zookeeper-3.5.8-bin.tar.gz

解压 cd /opt/ && tar -zxvf apache-zookeeper-3.5.8-bin.tar.gz

2.2.2         创建data、log存储目录

mkdir -p /data/zookeeper/data
mkdir -p /data/zookeeper/log

2.2.3         新增zoo.cfg配置文件

cd apache-zookeeper-3.5.8-bin./conf/ && vi zoo.cfg

# 基本事件单元，单位毫秒。
tickTime=2000
initLimit=10
syncLimit=5
# 存储内存中数据库快照的位置，默认是/tmp/zookeeper
dataDir=/data/zookeeper/data
# 日志路径，也就是事务日志。
dataLogDir=/data/zookeeper/log
# 监听客户端连接的端口
clientPort=2181
server.1=10.20.31.116:2888:3888
server.2=10.20.31.117:2888:3888
server.3=10.20.31.137:2888:3888

2.2.4         新增myid文件

myid文件内容是当前服务器的编号。

10.20.31.116：
   echo '1' > /data/zookeeper/data/myid
10.20.31.117：
   echo '2' > /data/zookeeper/data/myid
10.20.31.137：
   echo '3' > /data/zookeeper/data/myid

2.2.5         启动Zookeeper集群

10.20.31.116：/opt/apache-zookeeper-3.5.8-bin/bin/zkServer.sh start

10.20.31.117：/opt/apache-zookeeper-3.5.8-bin/bin/zkServer.sh start

10.20.31.137：/opt/apache-zookeeper-3.5.8-bin/bin/zkServer.sh start

2.2.6         查看Zookeeper集群状态

10.20.31.116：/opt/apache-zookeeper-3.5.8-bin/bin/zkServer.sh status

10.20.31.117：/opt/apache-zookeeper-3.5.8-bin/bin/zkServer.sh status

10.20.31.137：/opt/apache-zookeeper-3.5.8-bin/bin/zkServer.sh status

2.3   kafka集群环境搭建（集群所有节点都需要配置）

2.3.1         下载并解压

下载版本2.4.1：

http://mirror.bit.edu.cn/apache/kafka/2.4.1/kafka_2.13-2.4.1.tgz

解压：cd /opt/ && tar -zxvf kafka_2.13-2.4.1.tgz

2.3.2         编辑配置文件：

10.20.31.116：

vi kafka_2.13-2.4.1/config/server.properties

#修改以下配置
#为方便，直接将broker.id设置为了ip的最后一段，当集群中有多个Kafka时，他们的这个值必须不一样
broker.id=116
#可选配置项，将日志输出到指定的位置
log.dirs=/tmp/kafka-logs
#必须配置自己的zookeepe
zookeeper.connect=10.20.31.116:2181,10.20.31.117:2181,10.20.31.137:2181
#在配置集群的时候，必须设置
listeners = PLAINTEXT://10.20.31.116:9092

10.20.31.117：

    vi kafka_2.13-2.4.1/config/server.properties

#修改以下配置
#为方便，直接将broker.id设置为了ip的最后一段，当集群中有多个Kafka时，他们的这个值必须不一样
broker.id=117
#可选配置项，将日志输出到指定的位置
log.dirs=/tmp/kafka-logs
#必须配置自己的zookeepe
zookeeper.connect=10.20.31.116:2181,10.20.31.117:2181,10.20.31.137:2181
#在配置集群的时候，必须设置
listeners = PLAINTEXT://10.20.31.117:9092

10.20.31.137：

    vi kafka_2.13-2.4.1/config/server.properties

#修改以下配置
#为方便，直接将broker.id设置为了ip的最后一段，当集群中有多个Kafka时，他们的这个值必须不一样
broker.id=137
#可选配置项，将日志输出到指定的位置
log.dirs=/tmp/kafka-logs
#必须配置自己的zookeepe
zookeeper.connect=10.20.31.116:2181,10.20.31.117:2181,10.20.31.137:2181
#在配置集群的时候，必须设置
listeners = PLAINTEXT://10.20.31.137:9092

注意：如果是配置集群，下面信息必须修改：

（1）、broker.id：同一个集群中，每台机器均不能一样

（2）、zookeeper.connect：因为我有3台zookeeper服务器，所以在这里zookeeper.connect设置为3台，必须全部加进去

（3）、listeners：在配置集群的时候，必须设置，不然以后的操作会报找不到leader的错误

2.3.3         集群各节点启动kafka服务

/opt/kafka_2.13-2.4.1/bin/kafka-server-start.sh -daemon /opt/kafka_2.13-2.4.1/config/server.properties

2.3.4         查看集群中各个节点的服务的启动状态

 

2.3.5         操作kafka

/opt/kafka_2.13-2.4.1/bin/kafka-topics.sh --create --zookeeper 10.20.31.116:2181 --replication-factor 1 --partitions 1 --topic test

说明： 
--zookeeper：为zk服务器地址，已逗号分割配置多个 
--replication-factor：分区leader副本数,1代表没有副本即分区本身，建议为2 
--partitions：分区数 
--topic：topic名称

2.3.6         查看topic

/opt/kafka_2.13-2.4.1/bin/kafka-topics.sh --list --zookeeper 10.20.31.137:2181

2.3.7         查看test topic消息

/opt/kafka_2.13-2.4.1/bin/kafka-topics.sh --describe --zookeeper 10.20.31.117:2181 --topic test

 

说明： 

leader:负责处理消息的读和写，leader是从所有节点中随机选择的.

Replicas:列出了所有的副本节点，不管节点是否在服务中.

Lsr:是正在服务中的节点.

2.3.8         发布消息

/opt/kafka_2.13-2.4.1/bin/kafka-console-producer.sh --broker-list 10.20.31.117:9092 --topic test

 

2.3.9         消费消息

/opt/kafka_2.13-2.4.1/bin/kafka-console-consumer.sh --bootstrap-server 10.20.31.137:9092 --topic test --from-beginning

 

说明： 

from-beginning：每次从头开始消费

2.3.10     删除topic

/opt/kafka_2.13-2.4.1/bin/kafka-topics.sh --delete --zookeeper 10.20.31.137:2181 --topic test

2.4   集群可视化管理

2.4.1         https://blog.csdn.net/llwy1428/article/details/94389615