• Kafka单机配置部署


    摘要:上节 学习了Kafka的理论知识,这里安装单机版以便后续的测试。

    首先安装jdk

    一、单机部署zk

    1.1安装:

    tar -zxf zookeeper-3.4.10.tar.gz -C /opt/

    1.2配置:

    在主目录下创建data用于存储数据:
    cd /opt/zookeeper-3.4.10/
    mkdir data
    在conf目录下新建zoo.cfg文件,写入以下内容保存:
    tickTime=2000
    dataDir=/opt/zookeeper-3.4.10/data
    dataLogDir=/opt/zookeeper-3.4.10/logs
    clientPort=2181

    1.3启动和停止

    进入bin目录,启动、停止、重启和查看当前节点状态(包括集群中是何角色)分别执行:
    ./zkServer.sh start
    ./zkServer.sh stop
    ./zkServer.sh restart
    ./zkServer.sh status

    二、单机部署kafka

    2.1安装:

    tar -xvzf kafka_2.11-1.0.1.tgz -C /opt

    2.2配置:

    cd /opt/kafka_2.11-1.0.1/config
    修改文件server.properties:
    broker.id=1     # 唯一ID同一集群下broker.id不能重复
    listeners=PLAINTEXT://localhost:9092   # 监听地址
    log.dirs=/opt/kafka_2.11-1.0.1/data      # 数据目录
    log.retention.hours=168   # kafka数据保留时间单位为hour 默认 168小时即 7天 
    log.retention.bytes=1073741824  #(kafka数据量最大值,超出范围自动清理,和 log.retention.hours配合使用,注意其最大值设定不可超磁盘大小)
    zookeeper.connect:192.168.10.100:2181  #(zookeeper连接ip及port,多个以逗号分隔)

    2.3启动和停止:

    ./bin/kafka-server-start.sh config/server.propertiess
    ./bin/kafka-server-stop.sh

    2.4创建topic

    创建topic:
    bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test
    展示topic:
    bin/kafka-topics.sh --list --zookeeper localhost:2181
    生产者:
    bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test
    消费者:
    bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test --from-beginning
  • 相关阅读:
    从头学pytorch(十二):模型保存和加载
    Python环境安装与配置
    PyCharm安装及使用
    Python包管理工具pip的基本使用
    LoadRunner安装破解
    正则表达式提取器使用
    TCPMon使用总结
    JMeter:全面的乱码解决方案
    Jmeter脚本两种录制方式
    监听器-【聚合报告】界面字段解析及计算方法概要说明
  • 原文地址:https://www.cnblogs.com/wonglu/p/8687488.html
Copyright © 2020-2023  润新知