在搭建kafka集群之前,请保证zookeeper已安装。
1、下载
官网下载链接:http://mirrors.tuna.tsinghua.edu.cn/apache/kafka/0.10.1.1/kafka_2.11-0.10.1.1.tgz
2、解压
tar zxvf kafka_2.11-0.10.1.1.tgz /usr/local/kafka
3、配置环境变量,各个节点都需要配置
gedit /etc/profile
#set kafka
export KAFKA_HOME=/usr/local/kafka
export PATH=/usr/local/kafka/bin:$PATH
使用环境变量生效
source /etc/profile
4、配置 server.properties
cd /usr/local/kafka/config
gedit server.properties
(1)、配置 broker 的ID
broker.id=1
(2)、打开监听端口
listeners=PLAINTEXT://master:9092
(3)、修改 log 的目录、在指定的位置创建好文件夹logs
log.dirs=/usr/local/kafka/logs
(4)、修改 zookeeper.connect
zookeeper.connect=master:2181,slave1:2181,slave2:2181,slave3:2181
5、拷贝配置好的kafka文件到子节点服务器,然后修改broker.id的值,不能一样,我分配设置的是2,3,4
6、启动kafka之前需启动zookeeper,然后启动kafka,各个节点需单独启动
cd /usr/local/kafka/config
kafka-server-start.sh server.properties
7、检查kafka是否启动成功,通过jps查看jps是否启动成功
8,、通过创建一个topic来测试是否能成功运行,随便选择一个节点运行
kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test
Created topic "test".
出现这个即表示创建test成功