性能监控分析的命令包括如下：
1、vmstat
2、sar
3、iostat
4、top
5、free
6、uptime
7、netstat
8、ps
9、strace
10、lsof
=====================================================
命令sar介绍：
sar命令是非常强大的性能分析命令，通过该命令可以全面的获取系统的CPU、运行队列、磁盘I/O、交换区、内存、CPU中断、网络等性能数据。
安装：
通过yum -y install sysstat命令进行在线安装
使用的是发现报错：无法打开 /var/log/sa/sa17: 没有那个文件或目录”
这里的值17一般是当天的日期（我在2015年8月17日测试，所以这里是17）。这个错误是由于没有创建那个文件，可是使用参数-o 让其生成。
sar -o 17
这样/var/log/sysstat/目录下就会有文件了。
常用格式：
sar [options] [-A] [-o file] t [n]
其中t为采样间隔是必须有的参数，n为采样次数，是可选的，默认值是1；
-o file表示将命令结果以二进制格式存放在文件中，file 是文件名。
options 为命令行选项，sar命令常用选项如下：
sar [ 选项 ] [ <时间间隔> [ <次数> ] ]
Options are:
[ -A ] [ -b ] [ -B ] [ -C ] [ -d ] [ -h ] [ -m ] [ -p ] [ -q ] [ -r ] [ -R ]
[ -S ] [ -t ] [ -u [ ALL ] ] [ -v ] [ -V ] [ -w ] [ -W ] [ -y ]
[ -I { <int> [,...] | SUM | ALL | XALL } ] [ -P { <cpu> [,...] | ALL } ]
[ -j { ID | LABEL | PATH | UUID | ... } ] [ -n { <keyword> [,...] | ALL } ]
[ -o [ <filename> ] | -f [ <filename> ] ] [ --legacy ]
[ -i <interval> ] [ -s [ <hh:mm:ss> ] ] [ -e [ <hh:mm:ss> ] ]
=====================================================
参数解释：
-A:所有报告的总和
-b:显示I/O和传递速率的统计信息
-B:显示换页状态
-d:输出每一块磁盘的使用信息
-e:设置显示报告的结束时间
-f:从制定的文件读取报告
-i:设置状态信息刷新的间隔时间
-P:报告每个CPU的状态
-R:显示内存状态
–u:输出cpu使用情况和统计信息
–v:显示索引节点、文件和其他内核表的状态
-w:显示交换分区的状态
-x:显示给定进程的装
-r:报告内存利用率的统计信息
=====================================================
常用监控
1. CPU资源监控
例如，每10秒采样一次，连续采样3次，观察CPU 的使用情况，需键入如下命令：
# sar -u 10 3
显示结果如下：
各字段解释说明：
CPU：all 表示统计信息为所有 CPU 的平均值。
%user：用户进程消耗的CPU 总时间的百分比。
%nice：运行正常进程消耗的CPU时间百分比。
%system：系统进程消耗的CPU时间百分比
%iowait：显示用于等待I/O操作占用 CPU 总时间的百分比。
%steal：在内存紧张环境下，pagein强制对不同的页面进行的steal操作
%idle：显示 CPU 空闲时间占用 CPU 总时间的百分比。
注意：
在所有的显示中，我们应主要注意%iowait和%idle，%iowait的越高，表示硬盘存在I/O瓶颈，%idle值高，表示CPU较空闲，如果%idle值高但系统响应慢，有可能是CPU等待分配内存，此时应加大内存容量。%idle值如果持续低于10，那么系统的CPU处理能力相对较低，表明系统中最需要解决的资源是CPU。
使用实例2：
每3秒采样一次，连续采样3次，观察CPU 的使用情况，并将采样结果以二进制形式存入当前目录下的文件test中，需键入如下命令：
#sar -u -o test 3 3
如果要查看二进制文件test中的内容，需键入如下sar命令：
sar -u -f test
2、inode、文件和其他内核表监控
例如，每5秒采样一次，连续采样3次，观察核心表的状态，需键入如下命令：
#sar -v 5 3
显示结果如下：
各字段说明：
dentunusd：目录高速缓存中未被使用的条目数量
file-nr：文件句柄（file handle）的使用数量
inode-nr：索引节点句柄（inode handle）的使用数量
pty-nr：使用的pty数量
3、内存和交换空间监控
例如，每5秒采样一次，连续采样3次，监控内存分页：
#sar -r 5 3
显示结果如下：
各字段说明：
kbmemfree：这个值和free命令中的free值基本一致,所以它不包括buffer和cache的空间.
kbmemused：这个值和free命令中的used值基本一致,所以它包括buffer和cache的空间.
%memused：这个值是kbmemused和内存总量(不包括swap)的一个百分比.
kbbuffers和kbcached：这两个值就是free命令中的buffer和cache.
kbcommit：保证当前系统所需要的内存,即为了确保不溢出而需要的内存(RAM+swap).
%commit：这个值是kbcommit与内存总量(包括swap)的一个百分比.
4. 内存分页监控
例如，每5秒采样一次，连续采样3次，监控内存分页：
sar -B 5 3
显示结果如下：
各字段说明：
pgpgin/s：表示每秒从磁盘或SWAP置换到内存的字节数(KB)
pgpgout/s：表示每秒从内存置换到磁盘或SWAP的字节数(KB)
fault/s：每秒钟系统产生的缺页数,即主缺页与次缺页之和(major + minor)
majflt/s：每秒钟产生的主缺页数.
pgfree/s：每秒被放入空闲队列中的页个数
pgscank/s：每秒被kswapd扫描的页个数
pgscand/s：每秒直接被扫描的页个数
pgsteal/s：每秒钟从cache中被清除来满足内存需要的页个数
%vmeff：每秒清除的页(pgsteal)占总扫描页(pgscank+pgscand)的百分比
5. I/O和传送速率监控
例如，每5秒采样一次，连续采样3次，报告缓冲区的使用情况，需键入如下命令：
sar -b 5 3
显示结果如下：
各字段说明：
tps：每秒钟物理设备的 I/O 传输总量
rtps：每秒钟从物理设备读入的数据总量
wtps：每秒钟向物理设备写入的数据总量
bread/s：每秒钟从物理设备读入的数据量，单位为 块/s
bwrtn/s：每秒钟向物理设备写入的数据量，单位为 块/s
6. 进程队列长度和平均负载状态监控
例如，每5秒采样一次，连续采样3次，监控进程队列长度和平均负载状态：
sar -q 5 3
显示结果如下：
各字段说明：
runq-sz：运行队列的长度（等待运行的进程数）
plist-sz：进程列表中进程（processes）和线程（threads）的数量
ldavg-1：最后1分钟的系统平均负载（System load average）
ldavg-5：过去5分钟的系统平均负载
ldavg-15：过去15分钟的系统平均负载
7. 系统交换活动信息监控
例如，每5秒采样一次，连续采样3次，监控系统交换活动信息：
sar - W 5 3
各字段说明：
pswpin/s：每秒系统换入的交换页面（swap page）数量
pswpout/s：每秒系统换出的交换页面（swap page）数量
8. 设备使用情况监控
例如，每5秒采样一次，连续采样3次，报告设备使用情况，需键入如下命令：
# sar -d 5 3 –p
显示结果如下：
参数-p可以打印出sda,hdc等磁盘设备名称,如果不用参数-p,设备节点则有可能是dev8-0,dev22-0
各字段解释说明：
tps:每秒从物理磁盘I/O的次数.多个逻辑请求会被合并为一个I/O磁盘请求,一次传输的大小是不确定的.
rd_sec/s:每秒读扇区的次数.
wr_sec/s:每秒写扇区的次数.
avgrq-sz:平均每次设备I/O操作的数据大小(扇区).
avgqu-sz:磁盘请求队列的平均长度.
await:从请求磁盘操作到系统完成处理,每次请求的平均消耗时间,包括请求队列等待时间,单位是毫秒(1秒=1000毫秒).
svctm:系统处理每次请求的平均时间,不包括在请求队列中消耗的时间.
%util:I/O请求占CPU的百分比,比率越大,说明越饱和.
1. avgqu-sz 的值较低时，设备的利用率较高。
2. 当%util的值接近 1% 时，表示设备带宽已经占满。
总结：
要判断系统瓶颈问题，有时需几个 sar 命令选项结合起来
怀疑CPU存在瓶颈，可用 sar -u 和 sar -q 等来查看
怀疑内存存在瓶颈，可用 sar -B、sar -r 和 sar -W 等来查看
怀疑I/O存在瓶颈，可用 sar -b、sar -u 和 sar -d 等来查看
*************************************************************************
参考：
http://lovesoo.org/linux-sar-command-detailed.html