Kafka集群搭建

kafka安装前提

需要安装对应版本的scala，jdk，zookeeper

安装步骤

解压

sudo tar -zxvf kafka_2.11-0.11.0.0.tgz -C /usr/local/ 

改名+增加权限

sudo mv kafka_2.11-0.11.0.0/ ./kafka
sudo chown -R hadoop ./kafka

建立日志存放路径

sudo mkdir logs

更改配置文件server.properties

#broker 的全局唯一编号，不能重复
broker.id=0
#删除 topic 功能使能
delete.topic.enable=true
#处理网络请求的线程数量
num.network.threads=3
#用来处理磁盘 IO 的现成数量
num.io.threads=8
#发送套接字的缓冲区大小
socket.send.buffer.bytes=102400
#接收套接字的缓冲区大小
socket.receive.buffer.bytes=102400
#请求套接字的缓冲区大小
socket.request.max.bytes=104857600
#kafka 运行日志存放的路径
log.dirs=/opt/module/kafka/logs
#topic 在当前 broker 上的分区个数
num.partitions=1
#用来恢复和清理 data 下数据的线程数量
num.recovery.threads.per.data.dir=1
#segment 文件保留的最长时间，超时将被删除
log.retention.hours=168
#配置连接 Zookeeper 集群地址
zookeeper.connect=hadoop1:2181,hadoop2:2181,hadoop3:2181

配置环境变量

sudo gedit ~/.bashrc
$KAFKA_HOME=/usr/local/kafka/bin
source ~/.bashrc

将/kafka目录分发给其他节点hadoop2,hadoop3

需要在各自的配置文件server.properties修改broker.id=1,broker.id=2。每个broker的broker.id要不相同。

启动和关闭集群

需要在每个节点单独启动

hadoop1  bin/kafka-server-start.sh -daemon config/server.properties
hadoop2  bin/kafka-server-start.sh -daemon config/server.properties
hadoop3  bin/kafka-server-start.sh -daemon config/server.properties

需要在每个节点单独关闭

hadoop1 bin/kafka-server-stop.sh stop
hadoop2 bin/kafka-server-stop.sh stop
hadoop3 bin/kafka-server-stop.sh stop

或者使用脚本，ssh访问来开启集群

for i in hadoop1 hadoop2 hadoop3
do
echo "========== $i =========="
ssh $i '/usr/local/kafka/bin/kafka-server-start.sh -daemon
/opt/module/kafka/config/server.properties'
done