linux系统性能监控--网络利用率

    Linux中提供了许多有助于评估各种 Linux网络性能的监视工具，其中一些监视工具也可用于解决网络问题以及监视性能。 Linux内核为用户提供了大量的网络系统信息，这有助于监视网络的健康状态并检测在配置、运行期间以及性能方面出现的问题。

    下面分析在大多数 Linux主要发行版本中提供的一些网络工具，包括 netstat、nfsstat、 tcpdump、 ethtool、 snmp、 ifport、 ifconfig、 route、 arp、 ping、 traceroute、 host以及nslookup等 。

    系统和网络管理员每天都会使用其中的某些工具。诸如 ping、 route、 arp、 traceroute、ethtool及 tcpdump之类的工具常用于判定网络问题。 这些工具描述如下：

• ping ipaddress/hostname 命令可以显示计算机是否正在运行以及网络连接是否正常。该命令使用互联网控制消息协议(Internet Control Message Protocol， ICMP)中的Echo功能。 该命令通过网络将一个小型报文发至指定的 IP地址。 如果可以收到该报文的应答消息， 则表明这条计算机网络连接是存活的。该命令还可以显示出
  在源计算机和目的计算机之间存在着多少个中间跳数。
  
• route 命令可以显示路由表内容，在路由表中增删路由，以及清空所有的路由信息。如果ping命令不起作用，即网络连接没有激活，那么可以使用 arp命令来确定问题根源。该命令的-a选项可以确定硬件地址是否正确地关联到适当的系统上，其他可用的选项包括清空arp缓存、向 arp缓存中添加信息等 。
• ifconfig 可以确定主机的介质访问控制地址。如果网络上存在着另一台具有相同 IP地址的主机，则该主机的介质访问控制地址可能已存在于本机的 arp缓存中。在这种情况下， 可以使用 arp命令来删除缓存中保存的地址并将正确的地址添加到arp缓存中。
• traceroute 可以跟踪报文的某条路由路径。 当报文在网络中传输时， 该命令能够测量报文在每一跳(路由器)之间传输所用的时间，并标识出每一跳的地址。
•  ethtool 可以查询并修改以太网设备的设置参数。每个设备都被分配一个标识编号，例如对于系统中的 n个以太网设备，其编号为 eth0、 eth1…ethn。 ethtool工具使用这种设备名称来查询/修改设置信息。
• tcpdump 对网络报文进行嗅探，能够捕获计算机在网络上可见的所有报文。该工具可用于网络监视、 协议调试以及数据获取等功能。该命令将 NIC设置为杂收(promiscuous)模式以便捕获所有流经物理线路的报文。该命令提供了大量关于输出结果的过滤选项， 可以只显示需要关注的报文类型。但其缺点是缓冲区可能会发生溢出。 在高带宽网络上执行 tcpdump操作还有可能会丢弃报文， 即 tcpdump的处理速度无法匹配报文的传输速率。
• ethereal是另一种类似于 tcpdump的网络嗅探工具， 可以读取 tcpdump所捕获的文
  件。
• host 工具用于从域名系统(Domain Name System)中获取指定 IP地址的主机名。该工具远比 nslookup更灵活，并且适于在 shell脚本中使用。

    Linux上提供的网络安全工具包括 snort(一种网络入侵检测系统)、 dsniff(一套强大的网络审计和渗透测试工具)以及 SAINT(Security Administrator's Integrated Network Tool)等 。

一、网络统计信息

    netstat是监视 Linux服务器上网络连接的最常用工具之一。该工具可以显示每种网络协议例如 TCP和 UDP的活跃 socket列表，还提供了关于网络路由的信息以及网络接口的累积统计数据， 包括输入输出报文数量以及报文冲突次数。 随后的 netstat输出信息显示了大量网络协议统计数据和路由信息， 例如互联网协议(IP)、传输控制协议(TCP)和用户数据报协议(UDP)。基于这些统计信息，可以判定收到的报文数目是否高于或低于预期值。该工具可以方便地用于研究内核版本之间的性能差异。

    如果没有任何参数的话， netstat可以枚举出已有的网络 socket及其连接情况，并且能够显示所有协议系列(包括 UNIX域套接字)的信息。 以下是输出样本中的典型数据行 。

[solarflar@localhost ~]$ netstat 
Active Internet connections (w/o servers)
Proto Recv-Q Send-Q Local Address           Foreign Address         State      
tcp        0      0 192.168.75.189:ssh      172.29.8.150:51963      TIME_WAIT  
tcp        0      0 192.168.75.189:ssh      192.168.194.59:48183    ESTABLISHED
tcp        0     52 192.168.75.189:ssh      172.29.8.150:52999      ESTABLISHED
tcp        0      0 192.168.75.189:ssh      192.168.194.55:19001    ESTABLISHED
tcp        0      0 192.168.75.189:ssh      192.168.194.55:17796    ESTABLISHED
Active UNIX domain sockets (w/o servers)
Proto RefCnt Flags       Type       State         I-Node   Path
unix  2      [ ]         DGRAM                    29748    /run/systemd/shutdownd
unix  2      [ ]         DGRAM                    11475    /run/systemd/notify
unix  5      [ ]         DGRAM                    11496    /run/systemd/journal/socket
unix  16     [ ]         DGRAM                    11498    /dev/log
unix  3      [ ]         STREAM     CONNECTED     37002    /run/systemd/journal/stdout
unix  3      [ ]         STREAM     CONNECTED     23698    /run/systemd/journal/stdout

    第1列显示了 socket的协议系列， 它通常是 tcp(transport control protocol， 传输控制协议)、 udp(user datagram protocol， 用户数据报协议)或 unix(UNIX domain socket， UNIX域套接字)；

    第 2列和第 3列显示了在 socket接收和发送队列中当前存在的数据字节数；
    后面各列显示了本地和远程地址及端口信息；最后一列显示了 socket当前的协议状态。
    如果 netstat 命令未携带标志-n 的话，则 IP 地址通常转换成主机名(nethostA、nethostB)。
    如果只要显示特定地址系列的内容，可以在命令中提供相应的标志。 例如, netstat –tcp或-t只显示前TCPsocket关于各个地址系列的完整标志列表参见netstat的man命令帮助。
    星号(*)表示通配符， 在指代本地地址时通常是监听所有本地接口的监听进程。 当该socket向远程主机发起连接并进入已建立(established)状态时，会显示出远程主机地址和端口信息。

二、接口信息

    Netstat给出的接口信息与 ifconfig命令所显示的内容相同。该信息是接口所提供的统计信息列表。 这些信息包括最大传输单元(maximum transmission unit、 MTU)，以及接收和发送报文中传输成功的、通过某种方式出错的、丢弃的或溢出的报文数。

[solarflar@localhost ~]$ netstat -i
Kernel Interface table
Iface      MTU    RX-OK RX-ERR RX-DRP RX-OVR    TX-OK TX-ERR TX-DRP TX-OVR Flg
eno1      1500 2034333467      0    182 0      3548944453      0      0      0 BMRU
eno2      1500        0      0      0 0             0      0      0      0 BMU
eno3      1500        0      0      0 0             0      0      0      0 BMU
eno4      1500        0      0      0 0             0      0      0      0 BMU
enp131s0  1500 1591418974      0  52118 0      486169278      0      0      0 BMRU
enp131s0  1500        0      0      0 0             0      0      0      0 BMU
lo       65536 594975131      0      0 0      594975131      0      0      0 LRU

三、TCP/IP协议统计数据
    netstat工具显示了存在于内核中的大多数计数器，但并未涵盖全部计数器。要查看被计数事件的完整列表，可以浏览/proc/net/snmp和/proc/net/netstat文件的内容。前者包含了 RFC 2012中定义的计数器， 后者包含了与 Linux相关的扩展 MIB。以下是由 netstat -s命令生成的 SNMP计数器的样本列表。

[solarflar@localhost ~]$ netstat -s
Ip:
    4603736451 total packets received
    0 forwarded
    0 incoming packets discarded
    4423014584 incoming packets delivered
    4398660228 requests sent out
    42782 outgoing packets dropped
    22 dropped because of missing route
    36615113 reassemblies required
    7960999 packets reassembled ok
    1967473 fragments received ok
    9530756 fragments created
Icmp:
    1236458 ICMP messages received
    1826 input ICMP message failed.
    ICMP input histogram:
        destination unreachable: 1236301
        echo requests: 71
        echo replies: 74
        timestamp request: 4
        address mask request: 8
    405465 ICMP messages sent
    0 ICMP messages failed
    ICMP output histogram:
        destination unreachable: 405135
        echo request: 255
        echo replies: 71
        timestamp replies: 4
IcmpMsg:
        InType0: 74
        InType3: 1236301
        InType8: 71
        InType13: 4
        InType17: 8
        OutType0: 71
        OutType3: 405135
        OutType8: 255
        OutType14: 4
Tcp:
    554771 active connections openings
    5422 passive connection openings
    551155 failed connection attempts
    1918 connection resets received
    6 connections established
    59059673 segments received
    69625408 segments send out
    24976 segments retransmited
    6 bad segments received.
    70797 resets sent
    InCsumErrors: 1
Udp:
    4325339161 packets received
    999602 packets to unknown port received.
    396416917 packet receive errors
    4345291695 packets sent
    10913928 receive buffer errors
    37346 send buffer errors
UdpLite:
TcpExt:
    32 invalid SYN cookies received
    36 resets received for embryonic SYN_RECV sockets
    73 packets pruned from receive queue because of socket buffer overrun
    4652 TCP sockets finished time wait in fast timer
    169068 delayed acks sent
    36 delayed acks further delayed because of locked socket
    Quick ack mode was activated 3651 times
    26222704 packets directly queued to recvmsg prequeue.
    3711962702 bytes directly in process context from backlog
    15106819553 bytes directly received in process context from prequeue
    2655495 packet headers predicted
    31357215 packets header predicted and directly queued to user
    3062089 acknowledgments not containing data payload received
    31242645 predicted acknowledgments
    2010 times recovered from packet loss by selective acknowledgements
    Detected reordering 2 times using FACK
    2 congestion windows fully recovered without slow start
    308 congestion windows recovered without slow start by DSACK
    267 congestion windows recovered without slow start after partial ack
    TCPLostRetransmit: 226
    12 timeouts after SACK recovery
    1 timeouts in loss state
    4619 fast retransmits
    3282 forward retransmits
    413 retransmits in slow start
    518 other TCP timeouts
    TCPLossProbes: 15920
    TCPLossProbeRecovery: 14042
    41 SACK retransmits failed
    7152 packets collapsed in receive queue due to low socket buffer
    4731 DSACKs sent for old packets
    2 DSACKs sent for out of order packets
    15907 DSACKs received
    11 DSACKs for out of order packets received
    10 connections reset due to unexpected data
    42 connections reset due to early user close
    206 connections aborted due to timeout
    TCPDSACKIgnoredOld: 1
    TCPDSACKIgnoredNoUndo: 13716
    TCPSpuriousRTOs: 40
    TCPSackShifted: 19573
    TCPSackMerged: 2838
    TCPSackShiftFallback: 15102
    TCPRetransFail: 6
    TCPRcvCoalesce: 172790
    TCPOFOQueue: 62042
    TCPOFOMerge: 2
    TCPChallengeACK: 199
    TCPSYNChallenge: 5
    TCPAutoCorking: 133696
    TCPFromZeroWindowAdv: 20
    TCPToZeroWindowAdv: 20
    TCPWantZeroWindowAdv: 1589
    TCPSynRetrans: 33
    TCPOrigDataSent: 60622666
    TCPHystartTrainDetect: 154
    TCPHystartTrainCwnd: 3092
    TCPHystartDelayDetect: 21
    TCPHystartDelayCwnd: 899
    TCPACKSkippedSeq: 197
    TCPACKSkippedChallenge: 1
IpExt:
    InMcastPkts: 3045103079
    OutMcastPkts: 2727644667
    InBcastPkts: 16567
    InOctets: 1654553951951
    OutOctets: 351194071831
    InMcastOctets: 1058583515712
    OutMcastOctets: 221466960723
    InBcastOctets: 2639362
    InNoECTPkts: 4603779373
    InECT0Pkts: 30
[solarflar@localhost ~]$ 

    另外， 网络通信涉及到繁重的中断处理。 因此， 通过与 netstat工具相结合， 可以使用 vmstat来捕获中断数目，使用 sar来确定中断处理操作的散布情况。

四、nfsstat

    网络文件系统(Network File System， NFS)可以将远程机器的文件系统与本地文件系统融合起来，即 NFS使用与本地相同的读写接口来远程访问数据。 nfsstat是一个打印NFS内核统计信息的简单工具， 可打印出工作负荷中 NFS的 API调用数量。在以下示例中， 服务器运行一个 I/O工作负荷。来自 nfsstat的输出信息显示的读写操作次数，可用
于调试目的。也可根据读写操作的次数来进一步理解性能问题 。

[solarflar@localhost ~]$ nfsstat 
Server rpc stats:
calls      badcalls   badclnt    badauth    xdrcall
0          0          0          0          0 

五、小结

    前面介绍了大量当前可用的 Linux性能工具，包括 CPU工具、 内存工具、 I/O工具及网络工具。这些工具可以提供用于理解在特定工作负荷下系统资源利用情况的信息。其中一些工具也可以揭示用户空间中的系统活动情况。本章描述了这些工具所提供的数据内容以及如何将其应用于性能分析领域。
    性能分析工作所需的大多数基本工具特性都可通过现有工具提供。但是还需要其他工具来提供对网络通信的更好理解，包括 NUMA系统中结点间的进程迁移和远程内存访问。另外，还需要一些工具能够以多种视图来存储和显示性能数据，以便帮助开发者对内核或用户应用加以理解、 分析及调优， 例如 gnuplot工具。 所显示的数据应该具有各种紧密度以便支持不同级别的数据密度， 尤其是涉及到多线程机器或 SMP机器， 其中数据常常是复杂且多维的。 性能工具对于推动 Linux进入企业级系统这个市场具有至关重要的作用。