• kafka集群安装配置


    1.下载安装包

    2.解压安装包

    3.进入到kafka的config目录修改server.properties文件

    进入后显示如下:

    修改log.dirs,基本上大部分都是默认配置

     kafka依赖zookeeper保存一些meta信息,所以这些需要配置

    分发安装包到其他节点上

    scp -r ....

    再次修改配置文件(重要)

    依次修改各服务器上配置文件的的broker.id,分别是0,1,2不得重复。

    启动集群

    依次在各节点上启动kafka

    bin/kafka-server-start.sh  config/server.properties

     执行命令的情况如下:

     

    5.4Kafka常用操作命令

    查看当前服务器中的所有topic

    bin/kafka-topcs.sh --list --zookeeper  zk01:2181

    创建topic

    ./kafka-topics.sh --create --zookeeper mini1:2181 --replication-factor 1 --partitions 3 --topic first

    删除topic

    sh bin/kafka-topics.sh --delete --zookeeper zk01:2181 --topic test

    需要server.properties中设置delete.topic.enable=true否则只是标记删除或者直接重启。

    通过shell命令发送消息

    kafka-console-producer.sh --broker-list kafka01:9092 --topic first1

    通过shell消费消息

    sh bin/kafka-console-consumer.sh --zookeeper zk01:2181 --from-beginning --topic test1

    l 查看消费位置

    sh kafka-run-class.sh kafka.tools.ConsumerOffsetChecker --zookeeper zk01:2181 --group testGroup

    查看某个Topic的详情

    sh kafka-topics.sh --topic test --describe --zookeeper zk01:2181

  • 相关阅读:
    SQL 语法总结
    终于开始用github了
    前端开发第一阶段总结
    windows系统快捷操作の高级篇
    windows系统快捷操作の进阶篇
    windows系统快捷操作の基础篇
    安装使用ubuntu问题汇总
    十进制转任意进制
    任意进制转10进制
    爬取妹子图(requests + BeautifulSoup)
  • 原文地址:https://www.cnblogs.com/wzlbigdata/p/8361846.html
Copyright © 2020-2023  润新知