• Apache Kafka(二)- Kakfa 安装与启动


    安装并启动Kafka

    1.下载最新版Kafka(当前为kafka_2.12-2.3.0)并解压:

    > wget http://mirror.bit.edu.cn/apache/kafka/2.3.0/kafka_2.12-2.3.0.tgz

    > tar zxvf kafka_2.12-2.3.0.tgz

    2. 检查Java 环境是否正确:

    > cd kafka_2.12-2.3.0

    > bin/kafka-topics.sh

    若是无法成功执行,则检查 Java 环境是否正确配置(此例中使用Java 8)

    3. 将kafka执行脚本目录加入环境变量:

    > vi ~/.bash_profile

    > export PATH="$PATH:/home/hadoop/kafka_2.12-2.3.0/bin"

    4. 启动Zookeeper

    > zookeeper-server-start.sh config/zookeeper.properties

     

    查看 config/zookeeper.properties 文件,可以看到基本配置:

    # the directory where the snapshot is stored.

    dataDir=/tmp/zookeeper

    # the port at which the clients will connect

    clientPort=2181

    # disable the per-ip limit on the number of connections since this is a non-production config

    maxClientCnxns=0

    其中需要将dataDir修改为非/tmp 目录,以将数据持久化,例如:

    dataDir=/home/hadoop/kafka_2.12-2.3.0/data/zookeeper

    然后重启zookeeper:

    > zookeeper-server-start.sh config/zookeeper.properties

    之后可以在dataDir目录下查看到zookeeper数据目录:

    > pwd

    /home/hadoop/kafka_2.12-2.3.0/data/zookeeper/version-2

    5. 启动Kafka

    首先修改 conf/server.properties 文件,可以看到日志文件地址为:

    # A comma separated list of directories under which to store log files

    log.dirs=/tmp/kafka-logs

    修改此路径为非/tmp目录,以落盘log数据,例如:

    log.dirs=/home/hadoop/kafka_2.12-2.3.0/data/kafka-logs

    然后启动Kafka:

    > kafka-server-start.sh config/server.properties

     

    查看 data/kafka-logs,可以看到以下文件:

    > ls

    cleaner-offset-checkpoint    meta.properties                   replication-offset-checkpoint

    log-start-offset-checkpoint  recovery-point-offset-checkpoint

  • 相关阅读:
    配置VSFTP文件服务器
    Apache Tomcat服务部署网站
    NFS实现Unix-like文件共享
    OpenSSH 服务配置与管理
    Redis 数据库配置与应用
    Rsync+Inotify 实现数据同步
    PXE+Kickstart 自动化部署系统
    PostFix+Dovecot 部署邮件系统
    部署MooseFS分布式文件系统
    MVC5+EF6 完整教程
  • 原文地址:https://www.cnblogs.com/zackstang/p/11310946.html
Copyright © 2020-2023  润新知