Zookeeper+Kafka的单节点配置

Zookeeper+Kafka的单节点配置

环境描述：Ubuntu16.04 server系统，在系统上搭建Java环境，jdk的版本为1.8或更高，我的服务器IP地址为192.168.0.106。

 

1. 使用命令在根目录下的opt目录下创建data目录。

mkdir /opt/data

 

2. 在Apache官网http://www.apache.org/dyn/closer.cgi/zookeeper/和https://www.apache.org/dyn/closer.cgi?path=/kafka/0.10.0.0/kafka_2.10-0.10.0.0.tgz

上下载zookeeper和kafka的压缩包，我下载的是zookeeper-3.4.10.tar.gz和kafka_2.11-0.10.1.0.gz。

 

3. 使用命令对zookeeper和kafka压缩文件进行解压，对解压后的文件进行改名和移动位置，移动到/opt/data目录下。

tar -zxvf zookeeper-3.4.10.tar.gz
tar -zxvf kafka_2.11-0.10.1.0.gz

4. 使用命令增加zookeeper节点的IP如下附图所示。

vim /etc/hosts

5. 使用命令

cd /opt/data/zookeeper/conf

进入zookeeper目录下的conf目录，使用命令

cp zoo_sample.cfg zoo.cfg

复制文件zoo.cfg，使用命令

vim zoo.cfg

修改该文件。同时，在/opt/data/zookeeper下创建data目录和logs目录，在/opt/data/zookeeper/data下创建文件myid，使用命令

echo 1 > myid

在文件myid中写入1。

 

============================================================================================================================================

在此zookeeper的配置已经完成。

============================================================================================================================================

6. 使用命令

vim /opt/data/kafka/config/server.properties

修改kafka的配置文件，同时使用命令

mkdir /opt/data/kafka/kafka-logs

创建目录，修改内容如下附图所示。

============================================================================================================================================

在此kafka的配置已经完成。

============================================================================================================================================

测试zookeeper和kafka的配置是否成功：

1. 启动zookeeper：在/opt/data/zookeeper目录下使用命令

bin/zkServer.sh start

启动zookeeper。使用命令

bin/zkServer.sh status

查看zookeeper的状态，如果现实如下图所示的状态表示zookeeper配置成功。

2.启动kafka：在/opt/data/kafka目录下使用命令

bin/kafka-server-start.sh config/server.properties

启动kafka，显示以下信息为成功启动kafka。

3. 创建会话topic：打开新的终端(我们暂记为终端1)，在/opt/data/kafka目录下使用命令

bin/kafka-topics.sh --create --zookeeper 192.168.0.106:2181 --replication-factor 1 --partitions 1 --topic test1

创建会话test1，使用命令

bin/kafka-topics.sh --list --zookeeper 192.168.0.106:2181

查看会话列表，显示以下信息为成功创建会话。

4.启动生产者Producer发消息：在/opt/data/kafka目录下使用命令

bin/kafka-console-producer.sh --broker-list 192.168.0.106:9092 --topic test1

启动消息生产者。

5.启动消费者Consumer接收消息：再打开一个新的终端(我们暂记为终端2)，在/opt/data/kafka目录下使用命令

bin/kafka-console-consumer.sh --bootstrap-server 192.168.0.106:9092 --from-beginning --topic test1

来接收消息。

6.在生产者Producer所在的终端1里随便输入一些内容，消费者Consumer所在的终端2将会实时的捕获终端1里发出的消息。如下表示成功建立会话，kafka和zookeeper的单节点配置圆满成功。

7.删除会话topic：在/opt/data/kafka目录下使用命令

bin/kafka-topics.sh --delete --zookeeper 192.168.0.106:2181 --topic test1

再使用命令

bin/kafka-topics.sh --list --zookeeper 192.168.0.106:2181

查看会话是否存在，如下图所示，表示会话test1删除成功。