• Kafak——Kafka-Manager安装部署


    一、kafka-manager 简介

           为了简化开发者和服务工程师维护Kafka集群的工作,yahoo构建了一个叫做Kafka管理器的基于Web工具,叫做 Kafka Manager。这个管理工具可以很容易地发现分布在集群中的哪些topic分布不均匀,或者是分区在整个集群分布不均匀的的情况。它支持管理多个集群、选择副本、副本重新分配以及创建Topic。同时,这个管理工具也是一个非常好的可以快速浏览这个集群的工具,有如下功能:

    • 管理多个集群
    • 轻松检查群集状态(主题,消费者,偏移,代理,副本分发,分区分发)
    • 运行首选副本选举
    • 使用选项生成分区分配以选择要使用的代理
    • 运行分区重新分配(基于生成的分配)
    • 使用可选主题配置创建主题(0.8.1.1具有与0.8.2+不同的配置)
    • 删除主题(仅支持0.8.2+并记住在代理配​​置中设置delete.topic.enable = true)
    • 主题列表现在指示标记为删除的主题(仅支持0.8.2+)
    • 批量生成多个主题的分区分配,并可选择要使用的代理
    • 批量运行重新分配多个主题的分区
    • 将分区添加到现有主题
    • 更新现有主题的配置

    kafka-manager 项目地址:https://github.com/yahoo/kafka-manager

    二、kafka-manager 安装

    1、环境要求

    1.安装jdk8
    
    2.kafka集群
    服务器:
    10.0.0.50:12181
    10.0.0.60:12181
    10.0.0.70:12181
    软件:
    kafka_2.11-1.0.0

    2、下载安装包

    想要查看和管理Kafka,完全使用命令并不方便,我们可以使用雅虎开源的Kafka-manager,GitHub地址如下:

    https://github.com/yahoo/kafka-manager

    我们可以使用Git或者直接从Releases中下载,此处从下面的地址下载 1.3.3.7 版本:

    https://github.com/yahoo/kafka-manager/releases

    下载完成后解压。

    注意:上面下载的是源码,下载后需要按照后面步骤进行编译。如果觉得麻烦,可以直接从下面地址下载编译好的 kafka-manager-1.3.3.7.zip。 
    链接:https://pan.baidu.com/s/1qYifoa4 密码:el4o

    3、解压安装包

    unzip kafka-manager-1.3.3.7.zip

    4、修改配置 conf/application.properties

    vi application.conf

    5、启动Kafka-Manager

      進入根目錄,輸入以下命令後臺啟動服務

    nohup bin/kafka-manager >logs/kafk-amanager.log 2>1 &

      進入logs目錄,輸入以下命令查看日誌文件是否啟動成功,如果沒有報錯則啟動成功

    tail -1000f kafk-amanager.log

    6、浏览器访问Kafka-Manager

      启动完毕后可以查看端口是否启动,默认情况下端口为9000,从浏览器打开,显示如下:

    7、重启Kafka-Manager

      kafka-manager程序依赖的是play framework框架。程序启动后,会在主目录生成一个RUNNING_PID文件(程序的pid),重启时,需要手工删掉这个文件。

      

      7.1、先通過命令查看進程號:

    ps -ef|grep kafka-manager

      7.2、殺掉進程:

    kill -9 26671

      7.3、進入根目錄,通過以下命令刪除RUNNING_PID文件

    rm -rf RUNNING_PID

      7.4、在啟動即可。

    三、kafka-manager 测试

    1、新建Cluster

      1.1 点击【Cluster】>【Add Cluster】打开如下添加集群的配置界面,配置以下5個選項,其他的配置默認,最後点击【保存】按鈕

      1.2 保存成功後,會有如下提示:

      1.3 点击【Go to cluster view.】打开当前的集群界面。

      

    注意:如果没有在 Kafka 中配置过 JMX_PORT,千万不要选择第一个复选框。
    Enable JMX Polling
    如果选择了该复选框,Kafka-manager 可能会无法启动。

    2、Topic List

    3、Broker

    四、kafka-manager 管理

    1.新建主题

    2.查看主题

    3.详细解析 kafka manager 的使用

      参考:

      https://www.jianshu.com/p/6a592d558812

  • 相关阅读:
    CAM350中DFM检验
    减少VMware中虚拟系统占用的内存资源
    嵌入式系统开发学习如何起步、如何深入
    GNOME3介绍与使用技巧
    局域网网络相关的问题
    开篇:讲讲peopleeditor遇到的问题
    WSDL
    常用shell命令(持续更新)
    X86寄存器及指令介绍
    float型与零值比较的语句;float型与float型如何判断相等
  • 原文地址:https://www.cnblogs.com/caoweixiong/p/11068322.html
Copyright © 2020-2023  润新知