最近给系统做了一点优化，前几天去查看系统监控，想看看上线前后cpu使用率曲线变化情况。查看的时候意外发现上线前后内存占用相差不少，20%以上。
本来我没怎么在意这个问题，因为我们系统会在运行过程中缓存部分数据内容。但客户觉得有异常，坚持要查。于是把一个月的内存使用情况调出来看，这一看就发现问题了：
系统内存占用确实是在缓慢增加，一两天的内存使用率曲线看不出什么，但一个月的可以明显看出来，是一条斜率很小的直线。
发现了有内存泄漏，但是想具体分析是哪个进程泄漏的还真不好办。因为我们系统有上千个进程在跑，而监控系统又只记录了总体内存占用情况，没记录单个进程内存占用。
没有枪，没有炮，只能自己来造 :) 。 我设计了一个简单的分析方法：
1 首先，我写一个脚本，每天定期记录系统所有进程使用情况，保存到文件，以时间戳命名。（用ps实现）
2 脚本跑几天后，我再使用另一个脚本，把文件合并起来分析，把每个进程在不同时间点的内存使用情况合并成一行，逐个进程输出
3 比较每个进程第一次出现与最后一次出现时占用内存之差，按从小到大排序，即可得出可能存在内存泄漏的程序。
效果如下：可以看出这个进程内存占用一直在增加，从第一次统计到最后一次统计之间内存使用增加了1460k
知道问题后就好办了，使用valgrind+gdb很快就找出导致内存泄漏的代码，纠正即可。
下面是分析过程中用到的脚本，希望对大家有帮助
1 # 20190228 hch 辅助分析程序内存泄漏情况的脚本 2 # 设计思路：首先用ps定期采集所有程序占用内存情况，生成多个文件。然后使用awk分析ps输出的文件，把相同进程占用的内存合并成一行输出 3 # 计算进程第一次和最后一次出现的时间点占用内存之差，逆序输出即可获得疑似内存泄漏的程序 4 5 # 首先使用以下脚本采集程序每一分钟内存占用信息，采集若干分钟 6 # while [ 1 ]; do ps -eo 'pid,comm,rsz,vsz,user,comm,args,pcpu,pmem' --sort rsz > ps_info_$(date "+%Y%m%d%H%M%S").txt ; sleep 60; done 7 8 # 使用awk脚本分析内存占用信息 把进程每一个时间点的内存占用情况合并成一行方便对比 9 # 并且统计进程第一次出现和最后一次出现占用内存差，输出 10 awk '{ 11 # 每次处理一个新文件时需要特殊处理一下 12 if (FNR == 1) { 13 # 登记文件名称 14 v_all_file_name = v_all_file_name "," FILENAME; 15 v_prefix_str = v_prefix_str ","; 16 ++v_file_cnt; 17 18 # 把上次文件没有出现的pid补上 19 if (NR != 1) { # FNR == 1 && NR == 1 代表第一个文件 20 for (v_pid_name in v_mp_pid_cnt) { 21 if (v_mp_pid_cnt[v_pid_name] != v_file_cnt - 1) { 22 v_mp_pid_rsz[v_pid_name] = v_mp_pid_rsz[v_pid_name] "," 23 v_mp_pid_vsz[v_pid_name] = v_mp_pid_vsz[v_pid_name] "," 24 v_mp_pid_cnt[v_pid_name] = v_file_cnt - 1; 25 } 26 } 27 } 28 } 29 30 v_pid_name = $2 "-" $1 "-" $5; #程序名-进程号-用户名 31 # 非第一个文件，第一次出现，需要补齐"," 32 if (v_file_cnt != 1 && v_mp_pid_cnt[v_pid_name] == 0) { 33 v_mp_pid_rsz[v_pid_name] = v_mp_pid_vsz[v_pid_name] = substr(v_prefix_str, 1, v_file_cnt - 1); 34 v_mp_pid_cnt[v_pid_name] = v_file_cnt - 1; 35 } 36 37 # rsz是物理内存 单位k 38 v_mp_pid_rsz[v_pid_name] = v_mp_pid_rsz[v_pid_name] "," $3 39 # 记录最后值和初始值 方便后面分析（有需要可以改成最大和最小值） 40 #if ($3 > v_mp_pid_rsz_max[v_pid_name]) v_mp_pid_rsz_max[v_pid_name] = $3; 41 v_mp_pid_rsz_max[v_pid_name] = $3; 42 if (v_mp_pid_rsz_min[v_pid_name] == 0 ) # || $3 < v_mp_pid_rsz_min[v_pid_name] 43 v_mp_pid_rsz_min[v_pid_name] = $3; 44 45 # vsz是虚存 单位k 46 v_mp_pid_vsz[v_pid_name] = v_mp_pid_vsz[v_pid_name] "," $4 47 v_mp_pid_vsz_max[v_pid_name] = $4; 48 if (v_mp_pid_vsz_min[v_pid_name] == 0 ) # || $4 < v_mp_pid_rsz_min[v_pid_name] 49 v_mp_pid_vsz_min[v_pid_name] = $4; 50 51 # 在本文件出现过就标记一下，后面文件处理完后才知道哪些进程没出现 52 v_mp_pid_cnt[v_pid_name] = v_file_cnt; 53 } 54 END { 55 print v_all_file_name 56 for (v_pid_name in v_mp_pid_rsz) { 57 print "rsz:"v_pid_name, v_mp_pid_rsz_max[v_pid_name] - v_mp_pid_rsz_min[v_pid_name], v_mp_pid_rsz[v_pid_name] 58 print "vsz:"v_pid_name, v_mp_pid_vsz_max[v_pid_name] - v_mp_pid_vsz_min[v_pid_name], v_mp_pid_vsz[v_pid_name]; 59 } 60 }' $(ls -rt ps_inf*txt) > ps_trace.txt #按时间逆序分析 61 62 # 将分析结果排序输出 63 # sh ps_trace.sh; sork -k2n ps_trace.txt | tail -100