kafka集群部署

kafka集群部署

安装前准备

• 配置主机名

   vi /etc/sysconfig/network
  

• 修改hosts文件

   vim /etc/hosts
  

• 关闭防火墙

  我用的是centos6.5版本

   chkconfig iptables off
  

不关闭防火墙，集群之间的通讯端口不通

• 注意

  如果没有进行上述配置，集群启动的时候会报错，连不上

集群规划

在192.168.86.131、192.168.86.132、192.168.86.134三台机器上部署kafka节点

解压安装包

tar -zxvf kafka_2.11-0.11.0.0.tgz -C /opt/module/

在/opt/module/kafka_2.11-0.11.0.2目录下创建logs文件夹

 mkdir logs

修改配置文件

[root@linux02 kafka_2.11-0.11.0.2]# cd config/
[root@linux02 config]# vi server.properties

输入以下内容：

#broker的全局唯一编号，不能重复
broker.id=0
#是否允许删除topic
delete.topic.enable=true
#处理网络请求的线程数量
num.network.threads=3
#用来处理磁盘IO的线程数量
num.io.threads=8
#发送套接字的缓冲区大小
socket.send.buffer.bytes=102400
#接收套接字的缓冲区大小
socket.receive.buffer.bytes=102400
#请求套接字的最大缓冲区大小
socket.request.max.bytes=104857600
#kafka运行日志存放的路径
log.dirs=/opt/module/kafka_2.11-0.11.0.2/logs
#topic在当前broker上的分区个数
num.partitions=1
#用来恢复和清理data下数据的线程数量
num.recovery.threads.per.data.dir=1
#segment文件保留的最长时间，超时将被删除
log.retention.hours=168
#配置连接Zookeeper集群地址
zookeeper.connect=192.168.86.131:2181,192.168.86.132:2181,192.168.86.134:2181

将配置好的kafka文件夹复制到其他两台机器上

scp -r kafka_2.11-0.11.0.2/ root@192.168.86.134:/opt/module/

分别在两台机器上修改server.properties中的broker.id，broker.id不能重复

启动集群

分别在机器上执行下面命令

[root@linux02 bin]# /opt/module/kafka_2.11-0.11.0.2/bin/kafka-server-start.sh /opt/module/kafka_2.11-0.11.0.2/config/server.properties 

关闭集群

分别在三台机器上执行下面命令

[root@linux02 bin]# /opt/module/kafka_2.11-0.11.0.2/bin/kafka-server-stop.sh stop

指令集操作

• 查看topic

   /opt/module/kafka_2.11-0.11.0.2/bin/kafka-topics.sh --zookeeper 192.168.86.131:2181 --list
  

• 创建topic

   /opt/module/kafka_2.11-0.11.0.2/bin/kafka-topics.sh --zookeeper 192.168.86.131:2181 --create --replication-factor 3 --partitions 3 --topic first
  

• 删除topic

   /opt/module/kafka_2.11-0.11.0.2/bin/kafka-topics.sh --zookeeper 192.168.86.131:2181 --delete --topic first
  

• 发送消息

   /opt/module/kafka_2.11-0.11.0.2/bin/kafka-console-producer.sh --broker-list 192.168.86.131:9092 --topic first
  

• 消费消息

   /opt/module/kafka_2.11-0.11.0.2/bin/kafka-console-consumer.sh --zookeeper 192.168.86.131:2181,192.168.86.132:2181,192.168.86.134:2181 --from-beginning --topic first --consumer.config /opt/module/kafka_2.11-0.11.0.2/config/consumer.properties