一分析文本的工具
文本数据统计：wc
整理文本：sort
比较文件：diff 和patch
（一）收集文本统计数据——wc
计数单词总数、行总数、字节总数和字符总数，可以对文件或STDIN 中的数据运行。
常用选项
-l 只计数行数
-w 只计数单词总数
-c 只计数字节总数
-m 只计数字符总数
-L 显示文件中最长行的长度
（1）显示单词总数、行总数、字节总数
[root@centos72 ~]# wc /app/passwd
19 27 841 /app/passwd
[root@centos72 ~]# wc /app/f1
4 4 12 /app/f1
[root@centos72 ~]# ll /app/passwd
-rw-r--r--. 1 root root 841 May 7 18:00 /app/passwd
[root@centos72 ~]# ll /app/f1
-rw-r--r--. 1 root root 12 May 7 20:35 /app/f1
（2）wc结合管道
wc和head一样是交互式命令，读取键盘输入，那么就可以结合管道
只要是空格隔开的都是单词
[root@centos72 ~]# w | wc
5 41 336
[root@centos72 ~]# w
20:53:56 up 8:33, 3 users, load average: 0.16, 0.05, 0.06
USER TTY FROM LOGIN@ IDLE JCPU PCPU WHAT
root tty1 13Jan19 8:12m 0.28s 0.28s -bash
root pts/0 192.168.137.1 15:13 2:39m 0.10s 0.10s -bash
root pts/1 192.168.137.1 12:41 4.00s 2.00s 0.02s w
[root@centos72 ~]# echo 0 1 2 3 > /app/f4
[root@centos72 ~]# /app/f4 | wc
-bash: /app/f4: Permission denied
0 0 0
[root@centos72 ~]# cat /app/f4 | wc
1 4 8
[root@centos72 ~]# cat /app/f4
0 1 2 3
[root@centos72 ~]# echo 0 1 2 3 > /app/f5
[root@centos72 ~]# cat /app/f5
0 1 2 3
[root@centos72 ~]# cat /app/f5 | wc
1 4 8
（3）单独统计行，单词，字节，字符总数
[root@centos72 ~]# cat /app/passwd | wc -l
19
[root@centos72 ~]# cat /app/passwd | wc -w
27
[root@centos72 ~]# cat /app/passwd | wc -c
841
[root@centos72 ~]# cat /app/passwd | wc -m
841
注意字节和字符不一样，字节是磁盘上占用的空间。
一个汉字是一个字符，但是是好几个字节
字节是4个，字符是2个
[root@centos72 ~]# echo 我 > f1
[root@centos72 ~]#wc f1
1 1 4 f1
[root@centos72 ~]# wc -m f1
2 f1
使用二进制查看
[root@centos72 ~]# hexdump -C f2
00000000 e4 bd a0 0a |....|
00000004
查看多少人登录系统
[root@centos72 ~]# who
root tty1 2019-01-13 00:35
root pts/0 2019-05-07 15:13 (192.168.137.1)
root pts/1 2019-05-07 12:41 (192.168.137.1)
[root@centos72 ~]# who | wc -l
3
（4）-L 显示文件中最长行的长度
[root@centos72 ~]# who
root tty1 2019-01-13 00:35
root pts/0 2019-05-07 15:13 (192.168.137.1)
root pts/1 2019-05-07 12:41 (192.168.137.1)
[root@centos72 ~]# who | wc -l
3
[root@centos72 ~]# who | wc -L
54
（二）文本排序sort
把整理过的文本显示在STDOUT ，不改变原始文件
sort [options] file(s)
常用选项
-r 执行反方向（由上至下）整理
-n 执行按数字大小整理
-f 选项忽略（fold ）字符串中的字符大小写
-u 选项（独特，unique ）删除输出中的重复行
-t c 选项使用c 做为字段界定符
-k X 选项按照使用c 字符分隔的X 列来整理能够使用多次
（1）默认是读取键盘输入的，按照字符排序
分隔符是冒号，-k表示列
[root@centos72 ~]# sort -t: -k3 /app/passwd
root:x:0:0:root:/root:/bin/bash
wang:x:1000:1000:wang:/home/wang:/bin/bash
operator:x:11:0:operator:/root:/sbin/nologin
bin:x:1:1:bin:/bin:/sbin/nologin
games:x:12:100:games:/usr/games:/sbin/nologin
ftp:x:14:50:FTP User:/var/ftp:/sbin/nologin
systemd-network:x:192:192:systemd Network Management:/:/sbin/nologin
daemon:x:2:2:daemon:/sbin:/sbin/nologin
adm:x:3:4:adm:/var/adm:/sbin/nologin
lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin
sync:x:5:0:sync:/sbin:/bin/sync
shutdown:x:6:0:shutdown:/sbin:/sbin/shutdown
halt:x:7:0:halt:/sbin:/sbin/halt
sshd:x:74:74:Privilege-separated SSH:/var/empty/sshd:/sbin/nologin
mail:x:8:12:mail:/var/spool/mail:/sbin/nologin
dbus:x:81:81:System message bus:/:/sbin/nologin
postfix:x:89:89::/var/spool/postfix:/sbin/nologin
polkitd:x:999:998:User for polkitd:/:/sbin/nologin
nobody:x:99:99:Nobody:/:/sbin/nologin
（2）-n 执行按数字大小整理
[root@centos72 ~]# sort -n -t: -k3 /app/passwd
root:x:0:0:root:/root:/bin/bash
bin:x:1:1:bin:/bin:/sbin/nologin
daemon:x:2:2:daemon:/sbin:/sbin/nologin
adm:x:3:4:adm:/var/adm:/sbin/nologin
lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin
sync:x:5:0:sync:/sbin:/bin/sync
shutdown:x:6:0:shutdown:/sbin:/sbin/shutdown
halt:x:7:0:halt:/sbin:/sbin/halt
mail:x:8:12:mail:/var/spool/mail:/sbin/nologin
operator:x:11:0:operator:/root:/sbin/nologin
games:x:12:100:games:/usr/games:/sbin/nologin
ftp:x:14:50:FTP User:/var/ftp:/sbin/nologin
sshd:x:74:74:Privilege-separated SSH:/var/empty/sshd:/sbin/nologin
dbus:x:81:81:System message bus:/:/sbin/nologin
postfix:x:89:89::/var/spool/postfix:/sbin/nologin
nobody:x:99:99:Nobody:/:/sbin/nologin
systemd-network:x:192:192:systemd Network Management:/:/sbin/nologin
polkitd:x:999:998:User for polkitd:/:/sbin/nologin
wang:x:1000:1000:wang:/home/wang:/bin/bash
（3）-r 执行反方向（由上至下）整理
[root@centos72 ~]# sort -nr -t: -k3 /app/passwd
wang:x:1000:1000:wang:/home/wang:/bin/bash
polkitd:x:999:998:User for polkitd:/:/sbin/nologin
systemd-network:x:192:192:systemd Network Management:/:/sbin/nologin
nobody:x:99:99:Nobody:/:/sbin/nologin
postfix:x:89:89::/var/spool/postfix:/sbin/nologin
dbus:x:81:81:System message bus:/:/sbin/nologin
sshd:x:74:74:Privilege-separated SSH:/var/empty/sshd:/sbin/nologin
ftp:x:14:50:FTP User:/var/ftp:/sbin/nologin
games:x:12:100:games:/usr/games:/sbin/nologin
operator:x:11:0:operator:/root:/sbin/nologin
mail:x:8:12:mail:/var/spool/mail:/sbin/nologin
halt:x:7:0:halt:/sbin:/sbin/halt
shutdown:x:6:0:shutdown:/sbin:/sbin/shutdown
sync:x:5:0:sync:/sbin:/bin/sync
lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin
adm:x:3:4:adm:/var/adm:/sbin/nologin
daemon:x:2:2:daemon:/sbin:/sbin/nologin
bin:x:1:1:bin:/bin:/sbin/nologin
root:x:0:0:root:/root:/bin/bash
[root@centos72 ~]# sort -t: -k1 /app/passwd
adm:x:3:4:adm:/var/adm:/sbin/nologin
bin:x:1:1:bin:/bin:/sbin/nologin
daemon:x:2:2:daemon:/sbin:/sbin/nologin
dbus:x:81:81:System message bus:/:/sbin/nologin
ftp:x:14:50:FTP User:/var/ftp:/sbin/nologin
games:x:12:100:games:/usr/games:/sbin/nologin
halt:x:7:0:halt:/sbin:/sbin/halt
lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin
mail:x:8:12:mail:/var/spool/mail:/sbin/nologin
nobody:x:99:99:Nobody:/:/sbin/nologin
operator:x:11:0:operator:/root:/sbin/nologin
polkitd:x:999:998:User for polkitd:/:/sbin/nologin
postfix:x:89:89::/var/spool/postfix:/sbin/nologin
root:x:0:0:root:/root:/bin/bash
shutdown:x:6:0:shutdown:/sbin:/sbin/shutdown
sshd:x:74:74:Privilege-separated SSH:/var/empty/sshd:/sbin/nologin
sync:x:5:0:sync:/sbin:/bin/sync
systemd-network:x:192:192:systemd Network Management:/:/sbin/nologin
wang:x:1000:1000:wang:/home/wang:/bin/bash
显示用户名和ID，并且按照ID的大小排序
[root@centos72 ~]# cut -d: -f1,3 /app/passwd | sort -nr -t: -k2
wang:1000
polkitd:999
systemd-network:192
nobody:99
postfix:89
dbus:81
sshd:74
ftp:14
games:12
operator:11
mail:8
halt:7
shutdown:6
sync:5
lp:4
adm:3
daemon:2
bin:1
root:0
创建一个文件
[root@centos72 ~]# cat > f3
1
2
3
2
4
5
6
2
3
5
^C^C
[root@centos72 ~]# cat f3
1
2
3
2
4
5
6
2
3
5
默认按照字符顺序排序的
[root@centos72 ~]# sort f3
1
2
2
2
3
3
4
5
5
6
（4） -u 选项（独特，unique ）删除输出中的重复行
删除重复的数字
[root@centos72 ~]# sort -u f3
1
2
3
4
5
6
[root@centos72 ~]# echo 11 >> f3
[root@centos72 ~]# echo 22 >> f3
[root@centos72 ~]# echo 33 >> f3
[root@centos72 ~]# cat f3
1
2
3
2
4
5
6
2
3
5
11
22
33
[root@centos72 ~]# sort -u f3
1
11
2
22
3
33
4
5
6
按照数字排序
[root@centos72 ~]# sort -nu f3
1
2
3
4
5
6
11
22
33
[root@centos72 ~]# sort -un f3
1
2
3
4
5
6
11
22
33
（三）uniq
uniq 命令：从输入中删除前后相接的重复的行
uniq [OPTION]... [FILE]...
-c: 显示每行重复出现的次数
-d: 仅显示重复过的行
-u: 仅显示不曾重复的行
连续且完全相同方为重复
常和sort 命令一起配合使用：sort userlist.txt | uniq -c
创建文件
（1）从输入中删除前后相接的重复的行
[root@centos72 ~]# cat > f4
a
b
a
a
bb
bb
c
bb
cc
cc
^C
[root@centos72 ~]# cat f4
a
b
a
a
bb
bb
c
bb
cc
cc
[root@centos72 ~]# uniq f4
a
b
a
bb
c
bb
cc
（2）-c: 显示每行重复出现的次数
[root@centos72 ~]# uniq -c f4
1 a
1 b
2 a
2 bb
1 c
1 bb
2 cc
（3）-u: 仅显示不曾重复的行
[root@centos72 ~]# uniq -u f4
a
b
c
bb
（4）-d: 仅显示重复过的行
[root@centos72 ~]# uniq -d f4
a
bb
cc
（5）使用管道传输
空格作为分隔符
[root@centos72 ~]# cut -d" " -f1 /var/log/httpd/access_log
192.168.137.1
192.168.137.1
192.168.137.1
192.168.137.1
192.168.137.1
192.168.137.1
192.168.137.1
192.168.137.1
192.168.137.1
192.168.137.1
[root@centos72 ~]# cut -d" " -f1 /var/log/httpd/access_log | uniq
192.168.137.1
示例1：取出访问日志里面访问量最大或者前三的IP地址，并且从大到小排序
下面要启动服务才可以，首先要转到快照。
如果没有做快照那么就只能把文件保存到电脑上
[root@centos72 ~]# cut -d" " -f1 /var/log/httpd/access_log | sort -n | uniq -c | sort -nr | head | tr -s ' ' | cut -d " " -f3
192.168.137.1
远程传输一个文件
[root@centos72 ~]# rz
[root@centos72 ~]# ls
aaa aa.txt access_log anaconda-ks.cfg f1 f2 f3 f4
[root@centos72 ~]# ll -ht
total 14M
-rw-r--r--. 1 root root 25 May 7 22:12 f4
-rw-r--r--. 1 root root 30 May 7 22:04 f3
-rw-r--r--. 1 root root 4 May 7 21:08 f2
-rw-r--r--. 1 root root 4 May 7 21:03 f1
-rw-r--r--. 1 root root 27 May 7 19:11 aa.txt
-rw-r--r--. 1 root root 9 May 7 13:28 aaa
-rw-------. 1 root root 1.6K Jan 13 00:22 anaconda-ks.cfg
-rw-r--r--. 1 root root 14M Dec 1 15:45 access_log
[root@centos72 ~]# ll -hS
total 14M
-rw-r--r--. 1 root root 14M Dec 1 15:45 access_log
-rw-------. 1 root root 1.6K Jan 13 00:22 anaconda-ks.cfg
-rw-r--r--. 1 root root 30 May 7 22:04 f3
-rw-r--r--. 1 root root 27 May 7 19:11 aa.txt
-rw-r--r--. 1 root root 25 May 7 22:12 f4
-rw-r--r--. 1 root root 9 May 7 13:28 aaa
-rw-r--r--. 1 root root 4 May 7 21:03 f1
-rw-r--r--. 1 root root 4 May 7 21:08 f2
[root@centos72 ~]# cut -d" " -f1 access_log | sort -n | uniq -c | sort -nr
159091 172.18.56.3
4004 192.168.27.6
24 172.18.0.100
如果访问的主机数量不超过10个，那么就可以不加head
[root@centos72 ~]# cut -d" " -f1 access_log | sort -n | uniq -c | sort -nr | head
159091 172.18.56.3
4004 192.168.27.6
24 172.18.0.100
删除多余的空格
[root@centos72 ~]# cut -d" " -f1 access_log | sort -n | uniq -c | sort -nr | head | tr -s ' '
159091 172.18.56.3
4004 192.168.27.6
24 172.18.0.100
以空格为分隔符，取第3个字段
[root@centos72 ~]# cut -d" " -f1 access_log | sort -n | uniq -c | sort -nr | head | tr -s ' ' | cut -d " " -f3
192.168.56.3
192.168.27.6
192.168.0.100
示例2:统计连接数
ss -nt 查询并发连接的远程IP最多的前三个IP
[root@centos72 ~]# ss -tn
State Recv-Q Send-Q Local Address:Port Peer Address:Port
ESTAB 0 52 192.168.137.72:22 192.168.137.1:57568
ESTAB 0 0 192.168.137.72:22 192.168.137.1:58228
删除多余的空格，并且分割符替换为冒号
[root@centos72 ~]# ss -tn | grep ESTAB | tr -s ' ' :
ESTAB:0:52:192.168.137.72:22:192.168.137.1:57568:
ESTAB:0:0:192.168.137.72:22:192.168.137.1:58228:
以冒号作为分隔符，取第6个字段的结果
[root@centos72 ~]# ss -tn | grep ESTAB | tr -s ' ' : | cut -d: -f6
192.168.137.1
192.168.137.1
按照数字进行排序
[root@centos72 ~]# ss -tn | grep ESTAB | tr -s ' ' : | cut -d: -f6 | sort -n
192.168.137.1
192.168.137.1
[root@centos72 ~]# ss -tn | grep ESTAB | tr -s ' ' : | cut -d: -f6 | sort -n | uniq
192.168.137.1
显示每行重复出现的次数
[root@centos72 ~]# ss -tn | grep ESTAB | tr -s ' ' : | cut -d: -f6 | sort -n | uniq -c
2 192.168.137.1