CentOS7.4搭建kafka单结点和集群

 

 

操作系统选择

　　CentOS7.4x86-64（操作系统的x86_64是跟CPU有关的，最早AMD公司开发出了一款向下兼容x86CPU，向上又扩充了指令集，具有了64位CPU的特性，这款CPU后来改名为AMD64，Intel在AMD之后也开发了这样一款CPU，取名叫做x86_64），所以操作系统的x86_64就是指这款操作系统是64位的。使用uname -a查看操作系统版本。

安装Java环境

　　首先找到jdk下载的官网网址，然后在你要下载的jdk版本上右键单击，在弹出的选择框选择复制链接，得到jdk11的下载链接为：http://download.oracle.com/otn-pub/java/jdk/11+28/55eed80b163941c8885ad9298e6d786a/jdk-11_linux-x64_bin.tar.gz

　　在/usr/目录下创建java目录，使用wget命令下载jdk安装包到当前目录，命令为：（因为jdk下载时需要接收协议，所以wget命令比较特别）

wget --no-cookies --header "Cookie: oraclelicense=accept-securebackup-cookie;"  http://download.oracle.com/otn-pub/java/jdk/11+28/55eed80b163941c8885ad9298e6d786a/jdk-11_linux-x64_bin.tar.gz

　　下载好了以后可以使用ls命令查看这个安装包是否下载成功了。接下来使用tar命令解包

tar -zxvf jdk-11_linux-x64_bin.tar.gz

　　然后，配置java环境，就是windows下的环境变量的配置，打开/etc/profile文件，在最下方插入下面两行：

export JAVA_HOME=/usr/java/jdk-10.0.2   //这个就是你的包解压后的结果
export PATH=$JAVA_HOME/bin/:$PATH

　　最后，输入source /etc/profile，强制刷新配置文件。然后输入java -version即可查看你所安装的jdk的版本号，在本次试验中我的java版本是jdk10。

安装Zookeeper

　　Kafka使用Zookeeper保存集群的元数据信息和消费者信息。Kafka发行版本自带了Zookeeper，可以直接从脚本启动。本例安装一个完整的Zookeeper。

　　元数据（Metadata），又称中介数据、中继数据，为描述数据的数据（data about data），主要是描述数据属性（property）的信息，用来支持如指示存储位置、历史数据、资源查找、文件记录等功能。元数据算是一种电子式目录，为了达到编制目录的目的，必须在描述并收藏数据的内容或特色，进而达成协助数据检索的目的。

　　元数据是关于数据的组织、数据域及其关系的信息，简言之，元数据就是关于数据的数据。

　　从apache.org下载Zookeeper的稳定版，下载地址为：http://mirrors.hust.edu.cn/apache/zookeeper/stable/zookeeper-3.4.12.tar.gz。版本为3.4.12。

1.单机Zookeeper的安装

　　Zookeeper的安装目录为/usr/local/zookeeper。数据目录为/var/lib/zookeeper。

　　下载Zookeeper的安装包：

wget http://mirrors.hust.edu.cn/apache/zookeeper/stable/zookeeper-3.4.12.tar.gz

　　解压安装包

tar -zxf zookeeper-3.4.12.tar.gz 

　　创建数据目录

mkdir -p /var/lib/zookeeper

　　创建Zookeeper的配置文件，并填写内容

[root@CentOs64-7 zookeeper]# mkdir -p /var/lib/zookeeper
[root@CentOs64-7 zookeeper]# cat > /usr/local/zookeeper/zookeeper-3.4.12/conf/zoo.cfg << EOF
> tickTime = 2000
> dataDir=/var/lib/zookeeper
> clientPort=2181
> EOF

 　　最后zookeeper完整的配置文件内容为

#Zookeeper定义的基准时间间隔，单位：毫秒。服务器与客户端之间交互的基本时间单元，也就是Zookeeper服务器之间或服务器与客户端之间每隔一个tickTime就发送一次心跳
tickTime=2000
#数据目录，zookeeper保存数据的目录，默认情况下，Zookeeper将写数据的日志文件也保存在这个目录下
dataDir=/var/lib/zookeeper
#客户端访问zookeeper的端口号，Zookeeper会监听这个端口，接收客户端的访问请求
clientPort=2181
#集群中的Follower（F）服务器和Leader（L）服务器之间初始连接时能容忍的最多心跳数（即tickTime的数目）
initLimit=5
#syncLimit:Leader-Follower同步通信时限，集群中的follower服务器与leader服务器之间请求和应答之间能容忍的最多心跳数（即tickTime的数量）
syncLimit=2

 　　启动通过脚本启动zookeeper，命令为：

 /usr/local/zookeeper/zookeeper-3.4.12/bin/zkServer.sh start
 // start 前的目录路径为脚本的保存路径，它在你的zookeeeper的安装目录下

　　执行结果如下：

　　如上所示：说明单机版的zookeeper就已经启动了。其它一些ookeeper的命令：

1.查询 zookeeper 状态：
zkServer.sh status
2.关闭 zookeeper 服务：
    zkServer.sh stop
    如打印如下信息则表明成功关闭：
    ZooKeeper JMX enabled by default
    Using config: /usr/local/services/zookeeper/zookeeper-3.4.9/bin/../conf/zoo.cfg
    Stopping zookeeper ... STOPPED

3.重启 zookeeper 服务：
    zkServer.sh restart
    如打印如下信息则表明重启成功：
    ZooKeeper JMX enabled by default
    Using config: /usr/local/services/zookeeper/zookeeper-3.4.9/bin/../conf/zoo.cfg
    ZooKeeper JMX enabled by default
    Using config: /usr/local/services/zookeeper/zookeeper-3.4.9/bin/../conf/zoo.cfg
    Stopping zookeeper ... STOPPED
    ZooKeeper JMX enabled by default
    Using config: /usr/local/services/zookeeper/zookeeper-3.4.9/bin/../conf/zoo.cfg
    Starting zookeeper ... STARTED

1.查询 zookeeper 状态：
zkServer.sh status
2.关闭 zookeeper 服务：
    zkServer.sh stop
    如打印如下信息则表明成功关闭：
    ZooKeeper JMX enabled by default
    Using config: /usr/local/services/zookeeper/zookeeper-3.4.9/bin/../conf/zoo.cfg
    Stopping zookeeper ... STOPPED

3.重启 zookeeper 服务：
    zkServer.sh restart
    如打印如下信息则表明重启成功：
    ZooKeeper JMX enabled by default
    Using config: /usr/local/services/zookeeper/zookeeper-3.4.9/bin/../conf/zoo.cfg
    ZooKeeper JMX enabled by default
    Using config: /usr/local/services/zookeeper/zookeeper-3.4.9/bin/../conf/zoo.cfg
    Stopping zookeeper ... STOPPED
    ZooKeeper JMX enabled by default
    Using config: /usr/local/services/zookeeper/zookeeper-3.4.9/bin/../conf/zoo.cfg
    Starting zookeeper ... STARTED

现在可以连接到Zookeeper端口上，通过发送四字命令srvr是否安装正确。使用命令：

　　此时终端会停在这里，它是在等待你的输入。我们发送srvr，得运行结果如下：

[root@CentOs64-7 ~]# telnet localhost 2181
Trying 127.0.0.1...
Connected to localhost.
Escape character is '^]'.
srvr
Zookeeper version: 3.4.12-e5259e437540f349646870ea94dc2658c4e44b3b, built on 03/27/2018 03:55 GMT
Latency min/avg/max: 0/0/0
Received: 1
Sent: 0
Connections: 1
Outstanding: 0
Zxid: 0x0
Mode: standalone
Node count: 4
Connection closed by foreign host.

　　这说明，单击的zookeeper已经安装成功而了。

最后为zookeeper配置环境变量

添加export ZOOKEEPER_HOME=/usr/local/zookeeper
在path中添加$ZOOKEEPER_HOME/bin
 然后使用source /etc/profile 立即刷新配置文件

2.Zookeeper集群的搭建

 先在结点下试验（这个先欠着），还欠缺一个zookeeper是什么的博客。

单节点 Kafka Broker 的安装

　　Kafkade 最新版本可以从http://kafka.apache.org/downloads.html下载最新的版本。截止本试验日期为止，最新的稳定版是2.0.0。官网提供源码包下载和两个不同Scala版本编译好的Kafka，可以直接下载安装运行。

　　本次试验下载编译好的版本：http://mirrors.tuna.tsinghua.edu.cn/apache/kafka/2.0.0/kafka_2.11-2.0.0.tgz

　　使用wget命令，将这个安装包下载到/usr/local/kafka目录下

[root@CentOs64-7 kafka]# wget http://mirrors.tuna.tsinghua.edu.cn/apache/kafka/2.0.0/kafka_2.11-2.0.0.tgz
--2018-10-18 10:44:31--  http://mirrors.tuna.tsinghua.edu.cn/apache/kafka/2.0.0/kafka_2.11-2.0.0.tgz
Resolving mirrors.tuna.tsinghua.edu.cn (mirrors.tuna.tsinghua.edu.cn)... 101.6.8.193, 2402:f000:1:408:8100::1
Connecting to mirrors.tuna.tsinghua.edu.cn (mirrors.tuna.tsinghua.edu.cn)|101.6.8.193|:80... connected.
HTTP request sent, awaiting response... 200 OK
Length: 55751827 (53M) [application/octet-stream]
Saving to: ‘kafka_2.11-2.0.0.tgz’

100%[=====================================================================================================================================================>] 55,751,827  13.5MB/s   in 3.6s   

2018-10-18 10:44:35 (14.8 MB/s) - ‘kafka_2.11-2.0.0.tgz’ saved [55751827/55751827]

　　解压（其实就是安装了）

tar -zxf kafka_2.11-2.0.0.tgz

Kafka目录介绍

• /bin 操作kafka的可执行脚本，还包含windows下脚本

• /config 配置文件所在目录

• /libs 依赖库目录

• /logs 日志数据目录，目录kafka把server端日志分为5种类型，分为:server,request,state，log-cleaner，controller

创建保存kafka日志的目录

mkdir /tmp/kafka-logs

启动kafka

/usr/local/kafka/kafka_2.11-2.0.0/bin/kafka-server-start.sh -daemon /usr/local/kafka/kafka_2.11-2.0.0/config/server.properties

检查9092端口和2181端口，9092是kafka的默认端口，2181是zookeeper的默认端口

[root@CentOs64-7 site-docs]# netstat -tunlp|egrep "(2181|9092)"
tcp 0 0 0.0.0.0:9092 0.0.0.0:* LISTEN 28688/java
tcp 0 0 0.0.0.0:2181 0.0.0.0:* LISTEN 27193/java

　　如上，说明kafka已经启动。

接下来，验证这个kafka是否安装正确

1.创建并验证主题

[root@CentOs64-7 site-docs]# /usr/local/kafka/kafka_2.11-2.0.0/bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test
Created topic "test".   //说明主题创建成功

2.查看你创建的主题的详细信息，如果不指定主题（添加--topic参数），那么查看所有的主题信息

[root@CentOs64-7 site-docs]# /usr/local/kafka/kafka_2.11-2.0.0/bin/kafka-topics.sh --zookeeper localhost:2181 --describe --topic test
Topic:test    PartitionCount:1    ReplicationFactor:1    Configs:
    Topic: test    Partition: 0    Leader: 0    Replicas: 0    Isr: 0

3.向测试主题上发布消息

[root@CentOs64-7 site-docs]# /usr/local/kafka/kafka_2.11-2.0.0/bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test
>Test Mese ^H
>Test Message 1^H^[[3~
>q

　　输入后按Ctrl+D退出输入。

4.从测试主题上读取消息

/usr/local/kafka/kafka_2.11-2.0.0/bin/kafka-console-consumer.sh --zookeeper localhost:2181 --topic test -- from-beginning
//上面这个命令用于kafka0.9以及0.9以下版本使用这个命令

/usr/local/kafka/kafka_2.11-2.0.0/bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test --from-beginning
//上面命令用于kafka0.9用这个命令

　　输入Ctrl+C退出消费。

5.查看topic列表

/usr/local/kafka/kafka_2.11-2.0.0/bin/kafka-topics.sh --list --zookeeper localhost:2181

6.删除topic

kafka-topics.sh --delete --zookeeper node1:2181 --topic my-kafka-topic

producer，指定的Socket(192.168.1.181+9092),说明生产者的消息要发往kafka，也即是broker

consumer, 指定的Socket(192.168.1.181+2181),说明消费者的消息来自zookeeper（协调转发）

 kafka的编译

本小节参考：https://blog.csdn.net/caoshangpa/article/details/79743830

会编译，有备无患。下载源码kafka-1.1.0-src.tgz

解压，这里也解压到/home目录下

> tar -xzf kafka-1.1.0-src.tgz
> cd kafka-1.1.0-src

查看里面的README.md文档，编译依赖1.Gradle 3.0或更高版本；2.Java 7。jdk前面已经安装过了，现在安装Gradle。

Gradle下载https://gradle.org/install/，该页面指出Gradle依赖Java 7或更高版本。最新的Gradle版本是4.6，下载其编译好的二进制包gradle-4.6-bin.zip。

解压，这里也解压到/home目录下

$ unzip -d gradle-4.6-bin.zip
$ ls radle-4.6
LICENSE NOTICE bin getting-started.html init.d lib media

将bin添加到环境变量，编辑/etc/profile文件，在其末尾添加

export PATH=$PATH:/home/zhangcan/gradle-4.6/bin

使修改的profile立即生效

$ source /etc/profile

测试一下

$ gradle -v

CD到kafka源码目录，开始编译

1.输入gradle指令，开始下载环境

$ gradle

下载了一堆东西，如果提示有文件下载失败，多执行几次该指令即可

2.编译

$ ./gradlew releaseTarGz -x signArchives

还是下载了一堆东西，如果提示有文件下载失败，多执行几次该指令即可。编译成功后会提示。

此时，会在kafka-1.1.0-src/core/build/distributions目录下生成一个名为kafka_2.11-1.1.0.tgz的二进制包，这个包和从官网下载的二进制包是一样的

参考链接：http://kafka.apache.org/quickstart