• 线上CPU100%排查


    引言

    不知道在大家面试中,有没有遇到这个问题:

    生产服务器上部署了几个java程序,突然出现了CPU100%的异常告警,你如何定位出问题呢?

    这个问题分为两版回答!

    • 高调版

      • 对不起,我是做研发的,这个问题在生产上是不可能遇见的!因为研发是不可能直接操作生产服务器,如果贵公司能出现这个问题,应该要反思一下自己的权限控制是否合理!
      • 面试官心里活动:装13是不是,赶紧走!
    • 低调版

      • 这个问题我在生产上没碰到过,因为我们是没法直接操作生产环境的。只能说,在测试环境曾经遇见过。操作步骤如下,balabala…
      • 面试官心里活动:权限控制的不错,应该是在大厂呆过。

    下面开始我们的正文

    正文

    下面给出两种系统下的排查步骤,都是一模一样的,只是命令稍有区别!

    • 查消耗cpu最高的进程PID

    • 根据PID查出消耗cpu最高的线程号

    • 根据线程号查出对应的java线程,进行处理。

    准备一行死循环代码:

    public class TestFor{
    public static void main(String [] args){
    	int random = 0;
    	while(random < 100){
    		random=random*10;
    	}
    }
    }
    

    启动

    windows版

    可能有人有疑问,我为什么要说windows版的!因为,我曾经给很多政府部门做过系统。我发现他们用的是windows server,不是linux系统。所有必要说一下!

    查消耗cpu最高的进程PID

    手边没有windows server机器,我以win 10为例,截图给大家看一下,先调出PID显示项!

    然后发现进程PID如下图所示,为5280

    根据PID查出消耗cpu最高的线程号

    这里用到微软的工具Process Explorer v16.22,地址如下
    https://docs.microsoft.com/zh-cn/sysinternals/downloads/process-explorer
    如图所示

    发现最耗cpu的线程的TId为7768
    这是十进制的数据,转成十六进制为1E58

    根据线程号查出对应的java线程,进行处理

    根据进程号执行命令,导出进程快照

    jstack -l 5280 > C:UsersAdministratorDesktop5280.stack
    

    打开文件 C:UsersAdministratorDesktop5280.stack,搜索1E58,如下图所示

    根据文件就可以看出,我们的TestFor.java文件第五行一直在跑,至此定位到问题

    Linux版

    Linux版本,步骤是一模一样的,就是命令换了一下

    查消耗cpu最高的进程PID

    查消耗cpu最高的进程PID

    执行命令 top -c
    显示进程运行信息列表。按下P,进程按照cpu使用率排序
    如下图所示,PID为17042的进程耗费cpu最高

    根据PID查出消耗cpu最高的线程号

    执行命令 top -Hp 17042
    显示一个进程的线程运行信息列表。按下P,进程按照cpu使用率排序

    如下图所示,PID为17043的线程耗费cpu最高

    这是十进制的数据,转成十六进制为0x4293

    根据线程号查出对应的java线程,进行处理

    根据进程号执行命令,导出进程快照

    jstack -l 17042 > /root/17042.stack
    

    然后执行,grep命令,看线程0x4293做了什么

    cat 17042.stack | grep '4293' -C 8
    

    输出如下

    至此定位到问题

    参考
    孤独烟 Java后端技术

  • 相关阅读:
    【题解】Luogu CF817F MEX Queries
    【题解】Luogu P4396 [AHOI2013]作业
    【题解】Luogu P4198 楼房重建
    【题解】Luogu P1471 方差
    【题解】Luogu P4069 [SDOI2016]游戏
    【题解】Luogu P4097 [HEOI2013]Segment
    李超线段树略解
    【题解】JSOIWC2019 Round 5
    【题解】Luogu P2763 试题库问题
    【题解】JSOIWC2019 Round4
  • 原文地址:https://www.cnblogs.com/ttzzyy/p/10373020.html
Copyright © 2020-2023  润新知