• Kafka获取订阅某topic的所有consumer group【客户端版】


    之前写过如何用服务器端的API代码来获取订阅某topic的所有consumer group,参见这里。使用服务器端的API需要用到kafka.admin.AdminClient类,但是这个类在0.11.0.0版本已经被标记为不推荐使用了,故目前最合适的方式还是通过客户端API:org.apache.kafka.clients.admin.AdminClient。今天碰到有人问这个问题,我就尝试写了一个。使用之前你需要引入kafka client包依赖(以2.2.0版本为例)

    Maven:

    <dependency>
    <groupId>org.apache.kafka</groupId>
    <artifactId>kafka-clients</artifactId>
    <version>2.2.0</version>
    </dependency>

    Gradle:

    compile group: 'org.apache.kafka', name: 'kafka-clients', version: '2.2.0'

     

    下面是代码:

     1 private static List<String> getGroupsForTopic(String brokerServers, String topic) 
     2             throws ExecutionException, InterruptedException, TimeoutException {
     3         Properties props = new Properties();
     4         props.put(AdminClientConfig.BOOTSTRAP_SERVERS_CONFIG, brokerServers);
     5 
     6         try (AdminClient client = AdminClient.create(props)) {
     7             List<String> allGroups = client.listConsumerGroups()
     8                     .valid()
     9                     .get(10, TimeUnit.SECONDS)
    10                     .stream()
    11                     .map(ConsumerGroupListing::groupId)
    12                     .collect(Collectors.toList());
    13 
    14             Map<String, ConsumerGroupDescription> allGroupDetails =
    15                     client.describeConsumerGroups(allGroups).all().get(10, TimeUnit.SECONDS);
    16 
    17             final List<String> filteredGroups = new ArrayList<>();
    18             allGroupDetails.entrySet().forEach(entry -> {
    19                 String groupId = entry.getKey();
    20                 ConsumerGroupDescription description = entry.getValue();
    21                 boolean topicSubscribed = description.members().stream().map(MemberDescription::assignment)
    22                         .map(MemberAssignment::topicPartitions)
    23                         .map(tps -> tps.stream().map(TopicPartition::topic).collect(Collectors.toSet()))
    24                         .anyMatch(tps -> tps.contains(topic));
    25                 if (topicSubscribed)
    26                     filteredGroups.add(groupId);
    27             });
    28             return filteredGroups;
    29         }
    30     }

    我会假设你的集群中没有配置安全认证和授权机制或者发起此AdminClient的用户是合法用户且有CLUSTER以及GROUP的DESCRIBE权限。

    另外值得注意的是,上面这个函数无法获取非运行中的consumer group,即虽然一个group订阅了某topic,但是若它所有的consumer成员都关闭的话这个函数是不会返回该group的。

  • 相关阅读:
    简单工作流实现思路总结
    (转)基于SAML的单点登录介绍
    Kerberos简介
    (转)Java NIO框架Mina、Netty、Grizzly介绍与对比
    职场老好人为何没发展
    如何改变、摆脱职场老好人
    线程的状态转换图
    设计模式分类
    (转)简单的RPC java实现 .
    MYSQL导入CSV格式文件数据执行提示错误(ERROR 1290): The MySQL server is running with the --secure-file-priv option so it cannot execute this statement.
  • 原文地址:https://www.cnblogs.com/huxi2b/p/10638008.html
Copyright © 2020-2023  润新知