• kafka问题集(三)ISR缺失


    仅个人实践所得,若是有误,欢迎指出。


    一、场景

      kafka集群中某一节点(N-10)的CPU利用率大于整个集群的平均水平,且达到报警值。使用top命令后台查看时发现是kafka服务导致CPU利用率高。在kafka界面查看topic,显示timeout ,使用以下命令查看集群中的topic发现consumer_offsets中有consumer_offsets-5分区的ISR仅剩一个,缺失两个。

    二、分析

      1)分析后台kafka日志,没有报错或者警告,INFO消息显示kafka不停的在deleting segement操作;

      2)查看consumer_offsets topic中各个分区的offset,发现缺失ISR的consumer_offsets-5分区的offset值远大于其他分区;

      3)查看consumer_offsets topic所在三个broker中对应的consumer_offsets-5分区,发现三个分区的数据时持续更新的;

    三、可能的结论

      若在分析中3)点,若分区数据不是同步更新,可以通过重启对应的结点解决。(该方案出自网上,不是我所遇的问题,仅记录,未验证);

      重点是三个broker上对应分区的数据时相应持续更新的,consumer_offsets-5分区中的offset值远大于其他分区,说明该分区对应的消费者组的繁忙程度远大于其他组,通过查看kafka所有分区,发现有较多topic的分区集中在该节点(N-10)中,至此,可以推断出,有可能是集群的负载不均衡导致的。

      对集群中分区进行重分布。

  • 相关阅读:
    测试72.思维好题
    pbds:STL平衡树
    测试69。这场因为轻视少了很多分。
    C++ 中的四种类型转换
    C++ 中的static关键字
    codeforces 1269 E K Integers
    P4556 [Vani有约会]雨天的尾巴 (线段树合并)
    P3521 [POI2011]ROT-Tree Rotations (线段树合并)
    codeforces 600E E. Lomsat gelral (线段树合并)
    线段树合并的一些题
  • 原文地址:https://www.cnblogs.com/love-yh/p/10473477.html
Copyright © 2020-2023  润新知