0,用VMWare安装3台CentOS8虚拟机
0.1,虚拟网络地址如下:
hostname ipaddress subnet mask geteway
1、 CentOS-1 192.168.213.135 255.255.255.0 192.168.213.2
2、 CentOS-2 192.168.213.136 255.255.255.0 192.168.213.2
3、 CentOS-3 192.168.213.137 255.255.255.0 192.168.213.2
0.2,修改host文件,将hostname添加到本机
进入etc目录:cd /etc/
使用vim命令修改host:vim hosts
输入 i 进入编辑模式
增加IP地址和hostname对应关系:
192.168.213.135 CentOS-1
192.168.213.136 CentOS-2
192.168.213.137 CentOS-3
esc退出编辑模式,输入 :wq 保存更改
1,搭建zookeeper集群
kafka是依赖于zookeeper的,单机模式下可以直接用kafka自带zookeeper(config/zookeeper.properties)启动,但是单机并不是kafka的价值所在,所以要搭建自己的zookeeper集群
博客园上有篇文章写zookeeper集群搭建的文章,写的不错,可供参考:https://www.cnblogs.com/ysocean/p/9860529.html
这里我们的zookeeper配置文件,增加的server.0、server.1、server.2分别为:
server.0=192.168.213.135:2888:3888
server.1=192.168.213.136:2888:3888
server.2=192.168.213.137:2888:3888
当然,由于上一步我们设置了hostname,这里的IP也可以直接写成hostname的形式:
server.0=CentOS-1:2888:3888
server.1=CentOS-2:2888:3888
server.2=CentOS-3:2888:3888
另外增加日志输出目录:dataLogDir=/tmp/zookeeper/log
2,下载kafka安装包
官网上下载最新kafka安装包,https://kafka.apache.org/downloads,使用tar命令解压,这里我们将/usr/lcoal 目录作为所有软件的安装目录,将kafka解压到这个目录
解压命令行:tar -vxzf kafka_2.13-2.6.0.tgz
之后我们将kafka配置到环境变量里:
进入etc目录:cd /etc/
vim命令编辑profile文件:vim profile
export KAFKA_HOME=/usr/local/kafka_2.13-2.6.0
export PATH=$PATH:$KAFKA_HOME/bin
如图:
:wq保存退出,然后使用source命令,使配置文件立即生效:source profile
配置环境变量这一步不是必须的,如果不配置那么在每次启动kafka的时候,需要在kafka的bin目录中执行启动命令。
3,修改server.properties配置文件
进入解压的kafka的config目录:cd /usr/local/kafka_2.13-2.6.0/config/
vim命令修改server.properties文件(这里的zookeeper.properties就用不到了):vim server.properties
指定zookeeper集群地址:zookeeper.connect=CentOS-1:2181,CentOS-2:2181,CentOS-3:2181
修改broker.id,值从1开始的正整数:broker.id=1(三台broker都要改,依次向后排列即可)
4,启动kafka
使用官方给出的命令,稍作修改启动:
nohup kafka-server-start.sh /usr/local/kafka_2.13-2.6.0/config/server.properties &
因为前面设置了环境变量,所以可以在任意位置执行启动命令,但需要将server.properties的路径写为绝对路径
这里我们将kafka作为后台启动了,使用的命令是nohup
出现如上图的结果,说明启动无报错,图中6182是进程pid,我们还可以使用jps命令,查看是否有pid为6182的进程:jps
有pid为6182的进程,kafka已启动
5,创建topic
在任意一个broker上创建topic,使用官方命令稍作修改,如下
kafka-topics.sh --create --zookeeper CentOS-1,CentOS-2,CentOS-3 --topic mytopic --partitions 3 --replication-factor 3
这里我们使用指定的zookeeper集群:CentOS-1,CentOS-2,CentOS-3
--topic 主题名称,这里是mytopic
--partitions 主题下有几个分区,这里设置了3个
--replication-factor 副本数,这里同样设置了3个
6,查看topic详情
在任意一个broker上查看topic,使用官方命令稍作修改,如下
kafka-topics.sh --describe --zookeeper CentOS-1,CentOS-2,CentOS-3 --topic mytopic
7,生产者和消费者的创建
7.1 创建生产者
kafka-console-producer.sh --topic mytopic --broker-list localhost:9092
7.2 创建消费者
kafka-console-consumer.sh --topic mytopic --from-beginning --bootstrap-server localhost:9092
生产者生产消息,消费者能够接收到消息
8,如果启动失败,可尝试:
1,查看防火墙是否关闭;
2,检查broker.id是否正确设置;
3,删除数据目录(log)中所有文件,重新启动。log目录是在server.properties中设置的:log.dirs=/tmp/kafka-logs 。如果之前没有搭建成功,在数据目录中会生成一个mata.properties文件,里面包含了broker.id的值。在搭建完成后,当前的broker.id和mata文件不一致,就会报错。