问题排查总结
最近一段时间 某台服务器上的一个应用总是隔一段时间就自己挂掉 用top看了看 从重新部署应用开始没有多长时间CPU占用上升得很快。top命令很快就找到了某个java进程占用过高。
排查步骤
1、使用top定位到占用cpu过高的进行PID
top
2、通过ps aux | grep PID命令
ps -mp pid -o THREAD,tid,time | sort -rn
3、将需要的线程ID转换为16进制格式
printf "%x
" tid
4、打印线程的堆栈信息 到了这一步具体看堆栈的日志来定位问题了
jstack pid |grep tid -A 30
案例如下：
1.top 可以看出PID 733进程 的占用CPU 172%
2.查找进程733下的线程 可以看到TID 线程775占用了96%且持有了很长时间 其实到这一步基本上能猜测到应该是 肯定是那段代码发生了死循环
ps -mp 733 -o THREAD,tid,time | sort -rn
3.线程ID转换为16进制格式
printf "%x " 775
4.查看java 的堆栈信息
jstack 733 |grep 307 -A 30
显然是 SmsQueueServiceImpl 中的produceMissSms 和 consumeMissSms 方法有问题
和开发一起研究了一下这些代码，最后开发说应用一启动的时候 spring初始化的就会执行这一段处理丢失消息的代码 然后这段死循环代码 没有任何作用
解决方法 即 注释掉whlie(true)这一段代码
重新部署后 cpu占用就很正常了
