针对文本文件,有时候我们需要删除其中重复的行、或者统计重复行的总次数,这时候可以采用Linux系统下的uniq命令实现相应的功能。
语法格式:uniq [-ic]
常用参数说明:
-i 忽略大小写
-c 计算重复的行数
用法说明:
首先创建一个uniqdemo.txt
文件内容如下:
小明
小王
小张
小张
小明
小李
执行如下命令:cat uniq.txt | uniq
输出结果如下:
小明
小王
小张
小明
小李
执行如下命令:cat uniq.txt | sort | uniq
输出结果如下:
小明
小王
小张
小李
总结:一般情况下uniq命令需要配合sort命令一起使用,因为uniq命令去重只能是作用于连续重复的行,只保留一行,如果重复的行数不连续,则不会去重,所以可以先使用sort命令按照顺序排列,这样可以保证重复的数据行是连续的,然后再去执行uniq命令就可以起到去重复的效果。