• kafka集群管理工具kafkamanager


     一、kafka-manager简介

     kafka-manager是目前最受欢迎的kafka集群管理工具,最早由雅虎开源,用户可以在Web界面执行一些简单的集群管理操作。具体支持以下内容:

    • 管理多个集群
    • 轻松检查群集状态(主题,消费者,偏移,代理,副本分发,分区分发)
    • 运行首选副本选举
    • 使用选项生成分区分配以选择要使用的代理
    • 运行分区重新分配(基于生成的分配)
    • 使用可选主题配置创建主题(0.8.1.1具有与0.8.2+不同的配置)
    • 删除主题(仅支持0.8.2+并记住在代理配​​置中设置delete.topic.enable = true)
    • 主题列表现在指示标记为删除的主题(仅支持0.8.2+)
    • 批量生成多个主题的分区分配,并可选择要使用的代理
    • 批量运行重新分配多个主题的分区
    • 将分区添加到现有主题
    • 更新现有主题的配置

    kafka-manager 项目地址:https://github.com/yahoo/kafka-manager

    二、kafka-manager部署

    1.下载安装包

    使用Git或者直接从Releases中下载,此处从下面的地址下载3.0.0.4 版本:https://github.com/yahoo/kafka-manager/releases

    注意上面地址下载下来的是源码包,需要进行编译,如果不想编译,可以直接下载编译好的kafka-manager-1.3.3.7.zip

    下载地址:https://pan.baidu.com/s/12j2DEt94WsWRY6dD9aR6BQ

    提取密码:8x57

    [root@kafka01 ~]# unzip -o kafka-manager-1.3.3.7.zip
    [root@kafka01 ~]# mv kafka-manager-1.3.3.7 /data/kafka-manager
    [root@kafka01 ~]# cd /data/kafka-manager
    [root@kafka01 kafka-manager]# vim conf/application.conf
    ·······
    #kafka-manager.zkhosts="localhost:2181" #注释这一行,添加下面一行
    kafka-manager.zkhosts="192.168.10.150:2181,192.168.10.151:2181,192.168.10.152:2181"
     
    启动kafka-manager
    [root@kafka01 kafka-manager]# nohup bin/kafka-manager >/dev/null 2>&1 &

    需要注意:
    kafka-manager默认的端口是9000,可通过-Dhttp.port在指定端口;-Dconfig.file=conf/application.conf指定配置文件;
    [root@kafka01 kafka-manager]# nohup bin/kafka-manager -Dconfig.file=conf/application.conf -Dhttp.port=9001 &

    [root@kafka01 kafka-manager]# lsof -i:9000
    COMMAND   PID USER   FD   TYPE DEVICE SIZE/OFF NODE NAME
    java    54414 root  109u  IPv4 150470      0t0  TCP *:cslistener (LISTEN)

     通过浏览器访问http://192.168.10.150:9000

    kafka-mamager测试
    新建 Cluster1
    点击【Cluster】>【Add Cluster】打开如下添加集群的配置界面:
    输入集群的名字(如Kafka-Cluster-test)和 Zookeeper 服务器地址(如localhost:2181),选择最接近的Kafka版本(如0.10.1.1)
    -------------------------------------------------------------------
    注意:如果没有在 Kafka 中配置过 JMX_PORT,千万不要选择第一个复选框。
    Enable JMX Polling
    如果选择了该复选框,Kafka-manager 可能会无法启动。
    -------------------------------------------------------------------

     其他broker的配置可以根据自己需要进行配置,默认情况下,点击【保存】时,会提示几个默认值为1的配置错误,需要配置为>=2的值。提示如下。

    新建完成后,运行界面如下:

     

    查看TOPIC 信息

    查看broker信息

    管理 kafka-mamager
    新建主题
    点击【Topic】>【Create】可以方便的创建并配置主题。如下显示。

    由于集群只有三个节点,故replication factor最多只能设置为3

     

     

     

     

    ================================================
    针对上面Topic->Create新建主题的配置,下面根据一张图讲解

     

     在上图一个Kafka集群中,有两个服务器,每个服务器上都有2个分区。P0,P3可能属于同一个主题,也可能是两个不同的主题。
    如果设置的Partitons和Replication Factor都是2,这种情况下该主题的分步就和上图中Kafka集群显示的相同,此时P0,P3是同一个主题的两个分区。P1,P2也是同一个主题的两个分区,Server1和Server2其中一个会作为Leader进行读写操作,另一个通过复制进行同步。
    如果设置的Partitons和Replication Factor都是1,这时只会根据算法在某个Server上创建一个分区,可以是P0~4中的某一个(分区都是新建的,不是先存在4个然后从中取1个)。

  • 相关阅读:
    聊天工具分享bug
    Git命令查看代码提交次数
    短链接生成实例
    .Net MVC用户注册验证码
    js写验证码
    笔记
    jq获取数组中的某个字段拆分成字符串。
    IIS部署后中文Cookie乱码
    C#反射(Reflection)与特性(Attribute)实例
    jmm
  • 原文地址:https://www.cnblogs.com/pzb-shadow/p/13030365.html
Copyright © 2020-2023  润新知