• Linux下Kafka单机安装配置方法(图文)


     

    Kafka是一个分布式的、可分区的、可复制的消息系统。它提供了普通消息系统的功能,但具有自己独特的设计。这个独特的设计是什么样的呢

    介绍

    Kafka是一个分布式的、可分区的、可复制的消息系统。它提供了普通消息系统的功能,但具有自己独特的设计。这个独特的设计是什么样的呢?

    首先让我们看几个基本的消息系统术语:

    •Kafka将消息以topic为单位进行归纳。
    •将向Kafka topic发布消息的程序成为producers.
    •将预订topics并消费消息的程序成为consumer.
    •Kafka以集群的方式运行,可以由一个或多个服务组成,每个服务叫做一个broker.
    producers通过网络将消息发送到Kafka集群,集群向消费者提供消息,如下图所示:

    客户端和服务端通过TCP协议通信。Kafka提供了Java客户端,并且对多种语言都提供了支持。

    说明:

    操作系统:CentOS 6.x 64位

    Kafka版本:kafka_2.11-0.8.2.1

    实现目的:

    单机安装配置kafka

    具体操作:

    一、关闭防火墙

    关闭: service iptables stop
    禁用: chkconfig iptables off

    二、安装JDK

    kafka运行需要JDK支持

    1、下载JDK

    http://download.oracle.com/otn-pub/java/jdk/7u79-b15/jdk-7u79-linux-x64.rpm

    注意:直接复制到下载工具进行下载,版本请使用JDK7,JDK8有可能不兼容kafka_2.11-0.8.2.1

    下载完成之后,上传到/usr/local/src目录下

    2、安装JDK

    cd /usr/local/src

    chmod +x jdk-7u79-linux-x64.rpm # 添加执行权限

    rpm -ivh jdk-7u79-linux-x64.rpm #安装

    安装完成之后,可以cd /usr/java/ 到安装目录查看

    3、添加JDK到系统环境变量

    vi /etc/profile #编辑,在最后添加以下代码

    JAVA_HOME=/usr/java/jdk1.7.0_79

    PATH=$PATH:$JAVA_HOME/bin:/usr/bin:/usr/sbin:/bin:/sbin:/usr/X11R6/bin

    CLASSPATH=.:$JAVA_HOME/lib/tools.jar:$JAVA_HOME/lib/dt.jar

    export JAVA_HOME

    export PATH

    export CLASSPATH

    :wq! #保存退出

    source /etc/profile #使配置文件立即生效

    java -version #查看JDK版本信息

    到此,JDK安装完成。

    三、安装kafka

    1、下载kafka

    cd /usr/local/src

    wget http://archive.apache.org/dist/kafka/0.8.2.1/kafka_2.11-0.8.2.1.tgz

    注意,kafka_2.11-0.8.2.1.tgz版本是已经编译好的版本,解压就能使用。

    tar -xzvf kafka_2.11-0.8.2.1.tgz #解压

    mv kafka_2.11-0.8.2.1 /usr/local/kafka #移动到安装目录

    2、配置kafka

    mkdir /usr/local/kafka/log/kafka #创建kafka日志目录

    cd /usr/local/kafka/config #进入配置目录

    vi server.properties #编辑修改相应的参数

    broker.id=0

    port=9092 #端口号

    host.name=192.168.5.56 #服务器IP地址,修改为自己的服务器IP

    log.dirs=/usr/local/kafka/log/kafka #日志存放路径,上面创建的目录

    zookeeper.connect=localhost:2181 #zookeeper地址和端口,单机配置部署,localhost:2181

    :wq! #保存退出

    3、配置zookeeper

    mkdir /usr/local/kafka/zookeeper #创建zookeeper目录

    mkdir /usr/local/kafka/log/zookeeper #创建zookeeper日志目录

    cd /usr/local/kafka/config #进入配置目录

    vi zookeeper.properties #编辑修改相应的参数

    dataDir=/usr/local/kafka/zookeeper #zookeeper数据目录

    dataLogDir=/usr/local/kafka/log/zookeeper #zookeeper日志目录

    clientPort=2181

    maxClientCnxns=100

    tickTime=2000

    initLimit=10

    syncLimit=5

    :wq! #保存退出

    四、创建启动、关闭kafka脚本

    cd /usr/local/kafka

    #创建启动脚本

    vi kafkastart.sh #编辑,添加以下代码

    #!/bin/sh

    #启动zookeeper

    /usr/local/kafka/bin/zookeeper-server-start.sh /usr/local/kafka/config/zookeeper.properties &

    sleep 3 #等3秒后执行

    #启动kafka

    /usr/local/kafka/bin/kafka-server-start.sh /usr/local/kafka/config/server.properties &

    :wq! #保存退出

    #创建关闭脚本

    vi kafkastop.sh #编辑,添加以下代码

    #!/bin/sh

    #关闭zookeeper

    /usr/local/kafka/bin/zookeeper-server-stop.sh /usr/local/kafka/config/zookeeper.properties &

    sleep 3 #等3秒后执行

    #关闭kafka

    /usr/local/kafka/bin/kafka-server-stop.sh /usr/local/kafka/config/server.properties &

    :wq! #保存退出

    #添加脚本执行权限

    chmod +x kafkastart.sh

    chmod +x kafkastop.sh

    五、设置脚本开机自动执行

    vi /etc/rc.d/rc.local #编辑,在最后添加一行

    sh /usr/local/kafka/kafkastart.sh & #设置开机自动在后台运行脚本

    :wq! #保存退出

    sh /usr/local/kafka/kafkastart.sh #启动kafka

    sh /usr/local/kafka/kafkastop.sh #关闭kafka

    至此,Linux下Kafka单机安装配置完成。

  • 相关阅读:
    客户端发现响应内容类型为“text/html”,但应该是“text/xml”
    [转]AJAX Control Toolkit 介绍及构建开发环境
    kafka删除topic详解
    influxdb问题解决
    logback配置
    kafka环境搭建测试
    Hdu 1753 大明A+B <高精度小数相加>
    POJ 1966 <点连通度>
    POJ 2446 Chessboard 二分图的最大匹配 <建图>
    Hlg 1522 子序列的和 <单调队列>
  • 原文地址:https://www.cnblogs.com/zhuyeshen/p/12686622.html
Copyright © 2020-2023  润新知