sort与uniq命令详解

1.sort的作用 (排序)

sort 命令对 File 参数指定的文件中的行排序，并将结果写到标准输出。

如果 File 参数指定多个文件，那么 sort 命令将这些文件连接起来，并当作一个文件进行排序。

2. sort语法

sort [-fbMnrtuk] [file or stdin]
选项与参数：
-f ：忽略大小写的差异，例如 A 与 a 视为编码相同；
-b ：忽略最前面的空格符部分；
-M ：以月份的名字来排序，例如 JAN, DEC 等等的排序方法；
-n ：使用『纯数字』进行排序(默认是以文字型态来排序的)；
-r ：反向排序；
-u ：就是 uniq ，相同的数据中，仅出现一行代表；
-t ：分隔符，默认是用 [tab] 键来分隔；
-k ：以那个区间 (field) 来进行排序的意思

3. sort例子

3.1 对/etc/passwd 的账号进行排序

cat /etc/passwd | sort

sort 是默认以第一个数据来排序，而且默认是以字符串形式来排序,所以由字母 a 开始升序排序。

3.2 /etc/passwd 内容是以 : 来分隔的，以第三栏来排序

cat /etc/passwd | sort -t ':' -k 3

默认是以字符串来排序的，如果想要使用数字排序：

cat /etc/passwd | sort -t ':' -k 3n

默认是升序排序，如果要倒序排序，如下

cat /etc/passwd | sort -t ':' -k 3nr

3.3 如果要对/etc/passwd,先以第六个域的第2个字符到第4个字符进行正向排序，再基于第一个域进行反向排序。

cat /etc/passwd |  sort -t':' -k 6.2,6.4 -k 1r   

3.4 查看/etc/passwd有多少个shell:对/etc/passwd的第七个域进行排序，然后去重

cat /etc/passwd |  sort -t':' -k 7 -u

4.uniq 命令

uniq命令可以去除排序过的文件中的重复行

因此uniq经常和sort合用。也就是说，为了使uniq起作用，所有的重复行必须是相邻的。

4.1 uniq语法

uniq [-icu]
选项与参数：
-i ：忽略大小写字符的不同；
-c ：进行计数
-u ：只显示唯一的行

4.2 uniq 例子

testfile的内容如下

cat testfile
hello
world
friend
hello
world
hello

直接删除未经排序的文件，将会发现没有任何行被删除

#uniq testfile  
hello
world
friend
hello
world
hello

排序文件，默认是去重

#cat testfile | sort |uniq
friend
hello
world

可以看到排序之后删除了重复行

在行首位置输出该行重复的次数:

#sort testfile | uniq -c
1 friend
3 hello
2 world

4.3 仅显示存在重复的行，并在行首显示该行重复的次数

#sort testfile | uniq -dc
3 hello
2 world
 

4.4 仅显示不重复的行

#sort testfile | uniq -u
friend  

本部分属于一步一步学习大数据系列之 Linux 的章节,欢迎订阅更多文章

更多内容请参考:一步一步学习大数据系列介绍