前言：假设如果有个服务器几十个链接突然达到上千个链接，show processlist,general_log,还有慢查询日志这些都不能用，你怎么把这些链接过来的SQL情况了解清楚，如果你觉得那些好用的都无法使用，这不可能的事情，总会留下啥蛛丝马迹，既然说不能用，那么就无法下手了吗，图样图森破，其实有个神器可以用。
下面就来看看tcpdump这款神器
用字符串形式
[root@localhost ~]# tcpdump -i em1 port 3306 -l -s 0 -w - | strings | grep -A 5 "select" > /tmp/tcpdump.txt tcpdump: listening on em1, link-type EN10MB (Ethernet), capture size 65535 bytes ^C699 packets captured 699 packets received by filter 0 packets dropped by kernel 执行一段时间Ctrl C退出命令 [root@localhost ~]# cat /tmp/tcpdump.txt | more select 1 $vV8@ 8=!P select @@session.tx_read_only 8=!| @@session.tx_read_only 8=nP select DISTINCT opp.course_big_id from opp LEFT JOIN app ON opp.id = app.id where student_id = 259585937 and ( editable_code = 'CHANCE_ALLOCA TED' or(editable_code = 'CHANCE_FEEDBACK' AND effective_code = 'DATA_CODE_EFFECTIVE')) AND delete_state = 'ACTIVE' and opp.course_big_id not in ( 32 ) 8=n| opp opp course_big_id course_big_id -- 你可能觉得格式不好看，可以抓包结合pt-query-digest来分析包 [root@localhost ~]# tcpdump -s 65535 -x -nn -q -tttt -i em1 -c 1000 port 3306 > /tmp/mysq.tcp.txt tcpdump: verbose output suppressed, use -v or -vv for full protocol decode listening on em1, link-type EN10MB (Ethernet), capture size 65535 bytes 1000 packets captured 1000 packets received by filter 0 packets dropped by kernel [root@localhost ~]# cat /tmp/mysq.tcp.txt | more 2015-12-20 11:49:02.521497 IP 192.168.1.25.3306 > 192.168.1.26.33514: tcp 4625 0x0000: 4508 1245 719e 4000 4006 3389 c0a8 0119 0x0010: c0a8 011a 0cea 82ea fb97 e0b4 bcd8 0218 0x0020: 8018 007a 95bb 0000 0101 080a 531c 97fc 0x0030: 7677 0229 5200 00ae 002e 2576 5602 5abd 0x0040: 2500 5100 0000 8802 3409 0800 bf05 1000 0x0050: 0000 0000 0300 0024 0000 0000 0000 0100 0x0060: 0020 4000 0000 0006 0373 7464 0421 0021 0x0070: 0021 0005 0653 5953 5445 4d0c fe63 726d 0x0080: 0042 4547 494e 05bd 8242 ae00 00af 002e 0x0090: 2576 5613 5abd 2500 ad00 0000 3503 3409 0x00a0: 0000 0a58 0000 0000 0300 0363 726d 0014 0x00b0: 745f 6f6e 6c69 6e65 5f6f 7070 6f72 7475 0x00c0: 6e69 7479 002c 0803 0308 0303 0f0f 0f0f 0x00d0: 0f0f 0ffc 0f0f 0f0f 0f0f 0f03 0f0f 1203 0x00e0: 120f 0312 0f0f 0f12 0f12 0f0f 0f0f 0f0f [root@localhost ~]# pt-query-digest --type tcpdump /tmp/mysq.tcp.txt # 410ms user time, 20ms system time, 27.92M rss, 216.83M vsz # Current date: Sun Dec 20 11:50:58 2015 # Hostname: localhost # Files: /tmp/mysq.tcp.txt # Overall: 207 total, 9 unique, 14.88 QPS, 0.01x concurrency _____________ # Time range: 2015-12-20 11:49:02.621793 to 11:49:16.536897 # Attribute total min max avg 95% stddev median # ============ ======= ======= ======= ======= ======= ======= ======= # Exec time 87ms 23us 33ms 419us 260us 3ms 31us # Rows affecte 0 0 0 0 0 0 0 # Query size 53.68k 8 1.83k 265.56 1012.63 398.95 28.75 # Warning coun 0 0 0 0 0 0 0 # Profile # Rank Query ID Response time Calls R/Call V/M Item # ==== ================== ============= ===== ====== ===== =============== # 1 0x9D4B9366E8A0F276 0.0331 38.2% 1 0.0331 0.00 SELECT xxxx # 2 0x8A9C2066E45E4B88 0.0318 36.7% 1 0.0318 0.00 SELECT xxxxx # 3 0x7C4BC7D69A3993EF 0.0085 9.8% 32 0.0003 0.00 SELECT xxxxx # 4 0x081EB4DF07F38A22 0.0055 6.3% 24 0.0002 0.00 SELECT adfadf # 5 0x16219655761820A2 0.0023 2.7% 69 0.0000 0.00 SELECT # 6 0x5B84E22AECC129B1 0.0020 2.3% 9 0.0002 0.00 SELECT t_adfadfadsf # MISC 0xMISC 0.0035 4.0% 71 0.0000 0.0 <3 ITEMS> # Query 1: 0 QPS, 0x concurrency, ID 0x9D4B9366E8A0F276 at byte 1224863 __ # Scores: V/M = 0.00 # Time range: all events occurred at 2015-12-20 11:49:11.484563 # Attribute pct total min max avg 95% stddev median # ============ === ======= ======= ======= ======= ======= ======= ======= # Count 0 1 # Exec time 38 33ms 33ms 33ms 33ms 33ms 0 33ms # Rows affecte 0 0 0 0 0 0 0 0 # Query size 2 1.59k 1.59k 1.59k 1.59k 1.59k 0 1.59k # Warning coun 0 0 0 0 0 0 0 0 # String: # Hosts 192.168.1.235 # Query_time distribution # 1us # 10us # 100us # 1ms # 10ms ################################################################ # 100ms # 1s # 10s+ # Tables # SHOW TABLE STATUS LIKE aaaG # SHOW CREATE TABLE `aaa`G # SHOW TABLE STATUS LIKE 'bbb'G # SHOW CREATE TABLE `bbb`G # EXPLAIN /*!50100 PARTITIONS*/ select count(*) from aaa skyopp left join bbb topp on aaaopp.sky_potential_opportunity_id = topp.id where skyopp.serving_state_code = 'SERVING' and skyopp.account is null and skyopp.area_id = 2 AND first_visit_time <= '2015-12-20 23:59:59' AND first_visit_time >= '2015-09-20 00:00:00' and office_id in ( 4 , 24 , 25 , 26 , 1003 , 1004 , 2020 , 2021 , 2028 , 2029 , 2039 , 2040 , 10043 , 10045 ) and project_id in ( 11 , 13 , 10099 , 10504 , 11 , 13 , 10099 , 10504 , 11 , 13 , 10099 , 10504 , 11 , 13 , 10099 , 10504 , 11 , 13 , 10099 , 10504 /*... omitted 36 items ...*/) and last_visit_type_code in ( 'FIRST_VISIT_TYPE' , 'THE_WEEK_RETURN' , 'NEXT_WEEK_RETURN' , 'SECOND_VISIT_TYPE' ) and topp.source_code in ( 'CS_LEYU' , 'CS_BBS' , 'CS_PUSH' , 'CS_QQ' ) and get_count<=22 and legion_id in ( 1 , 3 , 4 , 5 , 6 , 7 , 8 , 9 , 10 , 11 , 12 , 31 , 32 , 53 , 54 , 55 , 56 , 57 , 58 , 59 /*... omitted 8 items ...*/) AND ( abandon_time >= '2015-12-20 23:59:59.774' or abandon_time <= '2015-12-20 00:00:00.774' or abandon_time is null) order by skyopp.first_visit_time descG
可以发现：有个逻辑坑爹的语句 ( abandon_time >= '2015-12-20 23:59:59.774' or abandon_time <= '2015-12-20 00:00:00.774' ），本意是查询当天的时间，变成了查询昨天以前的，这是老项目的一个模块语句
tcpdump选项：
复制代码 -A 以ASCII码方式显示每一个数据包(不会显示数据包中链路层头部信息). 在抓取包含网页数据的数据包时, 可方便查看数据(nt: 即Handy for capturing web pages). -c count tcpdump将在接受到count个数据包后退出. -C file-size (nt: 此选项用于配合-w file 选项使用) 该选项使得tcpdump 在把原始数据包直接保存到文件中之前, 检查此文件大小是否超过file-size. 如果超过了, 将关闭此文件,另创一个文件继续用于原始数据包的记录. 新创建的文件名与-w 选项指定的文件名一致, 但文件名后多了一个数字.该数字会从1开始随着新创建文件的增多而增加. file-size的单位是百万字节(nt: 这里指1,000,000个字节,并非1,048,576个字节, 后者是以1024字节为1k, 1024k字节为1M计算所得, 即1M=1024 ＊ 1024 ＝ 1,048,576) -d 以容易阅读的形式,在标准输出上打印出编排过的包匹配码, 随后tcpdump停止.(nt | rt: human readable, 容易阅读的,通常是指以ascii码来打印一些信息. compiled, 编排过的. packet-matching code, 包匹配码,含义未知, 需补充) -dd 以C语言的形式打印出包匹配码. -ddd 以十进制数的形式打印出包匹配码(会在包匹配码之前有一个附加的'count'前缀). -D 打印系统中所有tcpdump可以在其上进行抓包的网络接口. 每一个接口会打印出数字编号, 相应的接口名字, 以及可能的一个网络接口描述. 其中网络接口名字和数字编号可以用在tcpdump 的-i flag 选项(nt: 把名字或数字代替flag), 来指定要在其上抓包的网络接口. 此选项在不支持接口列表命令的系统上很有用(nt: 比如, Windows 系统, 或缺乏 ifconfig -a 的UNIX系统); 接口的数字编号在windows 2000 或其后的系统中很有用, 因为这些系统上的接口名字比较复杂, 而不易使用. 如果tcpdump编译时所依赖的libpcap库太老,-D 选项不会被支持, 因为其中缺乏 pcap_findalldevs()函数. -e 每行的打印输出中将包括数据包的数据链路层头部信息 -E spi@ipaddr algo:secret,... 可通过spi@ipaddr algo:secret 来解密IPsec ESP包(nt | rt:IPsec Encapsulating Security Payload,IPsec 封装安全负载, IPsec可理解为, 一整套对ip数据包的加密协议, ESP 为整个IP 数据包或其中上层协议部分被加密后的数据,前者的工作模式称为隧道模式; 后者的工作模式称为传输模式 . 工作原理, 另需补充). 需要注意的是, 在终端启动tcpdump 时, 可以为IPv4 ESP packets 设置密钥(secret）. 可用于加密的算法包括des-cbc, 3des-cbc, blowfish-cbc, rc3-cbc, cast128-cbc, 或者没有(none).默认的是des-cbc(nt: des, Data Encryption Standard, 数据加密标准, 加密算法未知, 另需补充).secret 为用于ESP 的密钥, 使用ASCII 字符串方式表达. 如果以 0x 开头, 该密钥将以16进制方式读入. 该选项中ESP 的定义遵循RFC2406, 而不是 RFC1827. 并且, 此选项只是用来调试的, 不推荐以真实密钥(secret)来使用该选项, 因为这样不安全: 在命令行中输入的secret 可以被其他人通过ps 等命令查看到. 除了以上的语法格式(nt: 指spi@ipaddr algo:secret), 还可以在后面添加一个语法输入文件名字供tcpdump 使用(nt：即把spi@ipaddr algo:secret,... 中...换成一个语法文件名). 此文件在接受到第一个ESP 包时会打开此文件, 所以最好此时把赋予tcpdump 的一些特权取消(nt: 可理解为, 这样防范之后, 当该文件为恶意编写时,不至于造成过大损害). -f 显示外部的IPv4 地址时(nt: foreign IPv4 addresses, 可理解为, 非本机ip地址), 采用数字方式而不是名字.(此选项是用来对付Sun公司的NIS服务器的缺陷(nt: NIS, 网络信息服务, tcpdump 显示外部地址的名字时会用到她提供的名称服务): 此NIS服务器在查询非本地地址名字时,常常会陷入无尽的查询循环). 由于对外部(foreign)IPv4地址的测试需要用到本地网络接口(nt: tcpdump 抓包时用到的接口)及其IPv4 地址和网络掩码. 如果此地址或网络掩码不可用, 或者此接口根本就没有设置相应网络地址和网络掩码(nt: linux 下的 'any' 网络接口就不需要设置地址和掩码, 不过此'any'接口可以收到系统中所有接口的数据包), 该选项不能正常工作. -F file 使用file 文件作为过滤条件表达式的输入, 此时命令行上的输入将被忽略. -i interface 指定tcpdump 需要监听的接口. 如果没有指定, tcpdump 会从系统接口列表中搜寻编号最小的已配置好的接口(不包括 loopback 接口).一但找到第一个符合条件的接口, 搜寻马上结束. 在采用2.2版本或之后版本内核的Linux 操作系统上, 'any' 这个虚拟网络接口可被用来接收所有网络接口上的数据包(nt: 这会包括目的是该网络接口的, 也包括目的不是该网络接口的). 需要注意的是如果真实网络接口不能工作在'混杂'模式(promiscuous)下,则无法在'any'这个虚拟的网络接口上抓取其数据包. 如果 -D 标志被指定, tcpdump会打印系统中的接口编号，而该编号就可用于此处的interface 参数. -l 对标准输出进行行缓冲(nt: 使标准输出设备遇到一个换行符就马上把这行的内容打印出来).在需要同时观察抓包打印以及保存抓包记录的时候很有用. 比如, 可通过以下命令组合来达到此目的: ``tcpdump -l | tee dat'' 或者 ``tcpdump -l > dat & tail -f dat''.(nt: 前者使用tee来把tcpdump 的输出同时放到文件dat和标准输出中, 而后者通过重定向操作'>', 把tcpdump的输出放到dat 文件中, 同时通过tail把dat文件中的内容放到标准输出中) -L 列出指定网络接口所支持的数据链路层的类型后退出.(nt: 指定接口通过-i 来指定) -m module 通过module 指定的file 装载SMI MIB 模块(nt: SMI，Structure of Management Information, 管理信息结构MIB, Management Information Base, 管理信息库. 可理解为, 这两者用于SNMP(Simple Network Management Protoco)协议数据包的抓取. 具体SNMP 的工作原理未知, 另需补充). 此选项可多次使用, 从而为tcpdump 装载不同的MIB 模块. -M secret 如果TCP 数据包(TCP segments)有TCP-MD5选项(在RFC 2385有相关描述), 则为其摘要的验证指定一个公共的密钥secret. -n 不对地址(比如, 主机地址, 端口号)进行数字表示到名字表示的转换. -N 不打印出host 的域名部分. 比如, 如果设置了此选现, tcpdump 将会打印'nic' 而不是 'nic.ddn.mil'. -O 不启用进行包匹配时所用的优化代码. 当怀疑某些bug是由优化代码引起的, 此选项将很有用. -p 一般情况下, 把网络接口设置为非'混杂'模式. 但必须注意 , 在特殊情况下此网络接口还是会以'混杂'模式来工作； 从而, '-p' 的设与不设, 不能当做以下选现的代名词:'ether host {local-hw-add}' 或 'ether broadcast'(nt: 前者表示只匹配以太网地址为host 的包, 后者表示匹配以太网地址为广播地址的数据包). -q 快速(也许用'安静'更好?)打印输出. 即打印很少的协议相关信息, 从而输出行都比较简短. -R 设定tcpdump 对 ESP/AH 数据包的解析按照 RFC1825而不是RFC1829(nt: AH, 认证头, ESP， 安全负载封装, 这两者会用在IP包的安全传输机制中). 如果此选项被设置, tcpdump 将不会打印出'禁止中继'域(nt: relay prevention field). 另外,由于ESP/AH规范中没有规定ESP/AH数据包必须拥有协议版本号域,所以tcpdump不能从收到的ESP/AH数据包中推导出协议版本号. -r file 从文件file 中读取包数据. 如果file 字段为 '-' 符号, 则tcpdump 会从标准输入中读取包数据. -S 打印TCP 数据包的顺序号时, 使用绝对的顺序号, 而不是相对的顺序号.(nt: 相对顺序号可理解为, 相对第一个TCP 包顺序号的差距,比如, 接受方收到第一个数据包的绝对顺序号为232323, 对于后来接收到的第2个,第3个数据包, tcpdump会打印其序列号为1, 2分别表示与第一个数据包的差距为1 和 2. 而如果此时-S 选项被设置, 对于后来接收到的第2个, 第3个数据包会打印出其绝对顺序号:232324, 232325). -s snaplen 设置tcpdump的数据包抓取长度为snaplen, 如果不设置默认将会是68字节(而支持网络接口分接头(nt: NIT, 上文已有描述,可搜索'网络接口分接头'关键字找到那里)的SunOS系列操作系统中默认的也是最小值是96).68字节对于IP, ICMP(nt: Internet Control Message Protocol,因特网控制报文协议), TCP 以及 UDP 协议的报文已足够, 但对于名称服务(nt: 可理解为dns, nis等服务), NFS服务相关的数据包会产生包截短. 如果产生包截短这种情况, tcpdump的相应打印输出行中会出现''[|proto]''的标志（proto 实际会显示为被截短的数据包的相关协议层次). 需要注意的是, 采用长的抓取长度(nt: snaplen比较大), 会增加包的处理时间, 并且会减少tcpdump 可缓存的数据包的数量， 从而会导致数据包的丢失. 所以, 在能抓取我们想要的包的前提下, 抓取长度越小越好.把snaplen 设置为0 意味着让tcpdump自动选择合适的长度来抓取数据包. -T type 强制tcpdump按type指定的协议所描述的包结构来分析收到的数据包. 目前已知的type 可取的协议为: aodv (Ad-hoc On-demand Distance Vector protocol, 按需距离向量路由协议, 在Ad hoc(点对点模式)网络中使用), cnfp (Cisco NetFlow protocol), rpc(Remote Procedure Call), rtp (Real-Time Applications protocol), rtcp (Real-Time Applications con-trol protocol), snmp (Simple Network Management Protocol), tftp (Trivial File Transfer Protocol, 碎文件协议), vat (Visual Audio Tool, 可用于在internet 上进行电 视电话会议的应用层协议), 以及wb (distributed White Board, 可用于网络会议的应用层协议). -t 在每行输出中不打印时间戳 -tt 不对每行输出的时间进行格式处理(nt: 这种格式一眼可能看不出其含义, 如时间戳打印成1261798315) -ttt tcpdump 输出时, 每两行打印之间会延迟一个段时间(以毫秒为单位) -tttt 在每行打印的时间戳之前添加日期的打印 -u 打印出未加密的NFS 句柄(nt: handle可理解为NFS 中使用的文件句柄, 这将包括文件夹和文件夹中的文件) -U 使得当tcpdump在使用-w 选项时, 其文件写入与包的保存同步.(nt: 即, 当每个数据包被保存时, 它将及时被写入文件中,而不是等文件的输出缓冲已满时才真正写入此文件) -U 标志在老版本的libcap库(nt: tcpdump 所依赖的报文捕获库)上不起作用, 因为其中缺乏pcap_cump_flush()函数. -v 当分析和打印的时候, 产生详细的输出. 比如, 包的生存时间, 标识, 总长度以及IP包的一些选项. 这也会打开一些附加的包完整性检测, 比如对IP或ICMP包头部的校验和. -vv 产生比-v更详细的输出. 比如, NFS回应包中的附加域将会被打印, SMB数据包也会被完全解码. -vvv 产生比-vv更详细的输出. 比如, telent 时所使用的SB, SE 选项将会被打印, 如果telnet同时使用的是图形界面, 其相应的图形选项将会以16进制的方式打印出来(nt: telnet 的SB,SE选项含义未知, 另需补充). -w 把包数据直接写入文件而不进行分析和打印输出. 这些包数据可在随后通过-r 选项来重新读入并进行分析和打印. -W filecount 此选项与-C 选项配合使用, 这将限制可打开的文件数目, 并且当文件数据超过这里设置的限制时, 依次循环替代之前的文件, 这相当于一个拥有filecount 个文件的文件缓冲池. 同时, 该选项会使得每个文件名的开头会出现足够多并用来占位的0, 这可以方便这些文件被正确的排序. -x 当分析和打印时, tcpdump 会打印每个包的头部数据, 同时会以16进制打印出每个包的数据(但不包括连接层的头部).总共打印的数据大小不会超过整个数据包的大小与snaplen 中的最小值. 必须要注意的是, 如果高层协议数据没有snaplen 这么长,并且数据链路层(比如, Ethernet层)有填充数据, 则这些填充数据也会被打印.(nt: so for link layers that pad, 未能衔接理解和翻译, 需补充 ) -xx tcpdump 会打印每个包的头部数据, 同时会以16进制打印出每个包的数据, 其中包括数据链路层的头部. -X 当分析和打印时, tcpdump 会打印每个包的头部数据, 同时会以16进制和ASCII码形式打印出每个包的数据(但不包括连接层的头部).这对于分析一些新协议的数据包很方便. -XX 当分析和打印时, tcpdump 会打印每个包的头部数据, 同时会以16进制和ASCII码形式打印出每个包的数据, 其中包括数据链路层的头部.这对于分析一些新协议的数据包很方便. -y datalinktype 设置tcpdump 只捕获数据链路层协议类型是datalinktype的数据包 -Z user 使tcpdump 放弃自己的超级权限(如果以root用户启动tcpdump, tcpdump将会有超级用户权限), 并把当前tcpdump的用户ID设置为user, 组ID设置为user首要所属组的ID(nt: tcpdump 此处可理解为tcpdump 运行之后对应的进程) 此选项也可在编译的时候被设置为默认打开.(nt: 此时user 的取值未知, 需补充) 复制代码