1. 背景
每次发现系统变慢时,我们通常做的第一件事,就是执行 top 或者 uptime 命令,来了解系统的负载情况。如下所示我输入uptime
我们会看到 load average: 0.00, 0.04, 0.05。这三个数字,依次则是过去 1 分钟、5 分钟、15 分钟的平均负载(Load Average)
2. 平均负载
我之前理解为,过去1分钟,5分钟,15分钟,cpu使用率。比如过去5分钟为4%,cpu闲得蛋疼。这种理解其实是错误的,简单来说,平均负载是指单位时间内,系统处于可运行状态和不可中断状态的平均进程数,也就是平均活跃进程数。
3. 可运行状态和不可中断状态
可运行状态的进程,是指正在使用 CPU 或者正在等待 CPU 的进程,也就是我们常用 ps 命令看到的,处于 R 状态(Running 或 Runnable)的进程。
不可中断状态的进程则是正处于内核态关键流程中的进程,并且这些流程是不可打断的,比如最常见的是等待硬件设备的 I/O 响应,也就是我们在 ps 命令中看到的 D 状态(Uninterruptible Sleep,也称为 Disk Sleep)的进程。
4. 平均负载多少合理
理想情况,一个cpu一个进程最合理,也就是4核cpu,平均负载为4的时候最合理。但是,通常我们会认为平均负载到了70%的时候,就应该观察了。如果4核cpu,那么就是2.8的时候。
查看cpu核数:
grep 'model name' /proc/cpuinfo | wc -l
cpu使用率与cpu平均负载有什么关系呢,真相是没有必然联系。如果是cpu密集型工作,那两者是一致的。如果是io密集型工作,那cpu使用率可能比较低,但是平均负载比较高。
5. 案例分析
准备:
-
安装stress
yum install epel-release
yum install stress
stress 是一个 Linux 系统压力测试工具,这里我们用作异常进程模拟平均负载升高的场景 -
安装 sysstat
yum install sysstat
sysstat 包含了常用的 Linux 性能工具,用来监控和分析系统的性能。我们的案例会用到这个包的两个命令 mpstat 和 pidstat。
mpstat 是一个常用的多核 CPU 性能分析工具,用来实时查看每个 CPU 的性能指标,以及所有 CPU 的平均指标。
pidstat 是一个常用的进程性能分析工具,用来实时查看进程的 CPU、内存、I/O 以及上下文切换等性能指标。
案例一(cpu密集型)
开一个终端
stress --cpu 1 --timeout 600 #模拟一个cpu 100%
开第二个终端
uptime 多执行几次,可以发现第一个数字会变成1
开第三个终端:
mpstat -P ALL 5 #-P ALL 代表所有cpu,5代表5秒输出一次
可以看到cpu100%,没有io等待
停止输出,执行 pidstat -u 5 1 #表示5秒执行一次
可以看出是stress进程引起的
案例二(IO密集型)
开一个终端
stress -i 1 --timeout 600
其他的跟案例一一样
案例三(大量进程抢占cpu)
开一个终端
stress -c 8 --timeout 600
其他跟案例一一样
6. 总结
平均负载提供了一个快速查看系统整体性能的手段,反映了整体的负载情况。但只看平均负载本身,我们并不能直接发现,到底是哪里出现了瓶颈。所以,在理解平均负载时,也要注意:是否cpu的确繁忙,还是存在大量io等待,又或者是很多线程抢占cpu。需要根据mpstat和pidstat来分析