第一种:grep命令法
命令如下:grep -vxFf file1 file2 > a.txt
其中file2是大文件,file1是小文件
第一种:comm命令法
命令如下:comm file1 file2 -1 -3
file1和file2必须是有序文件,所以在comm前可以先sort file1 , sort file2再比较
附: comm命令介绍(http://man.linuxde.net/comm)
comm命令可以用于两个文件之间的比较,它有一些选项可以用来调整输出,以便执行交集、求差、以及差集操作。
交集:打印出两个文件所共有的行。
求差:打印出指定文件所包含的且不相同的行。
差集:打印出包含在一个文件中,但不包含在其他指定文件中的行。
[root@localhost cc]# cat file1
a
b
c
d
[root@localhost cc]# cat file2
a
b
f
[root@localhost cc]# comm file1 file2
a
b
c
d
f
输出的第一列只包含在文件file1中出现的行,第二列只包含在文件file2中出现的行,第三列包含在file和file2中相同的行。
交集
打印两个文件的交集,需要删除第一列和第二列:
[root@localhost cc]# comm 1 2 -1 -2
a
b
求差
打印出两个文件中不相同的行,需要删除第三列:
[root@localhost cc]# comm 1 2 -3 |sed 's/^ //'
c
d
f
sed 's/^ //' 是将制表符( )删除,以便把两列合并成一列。
差集
通过删除不需要的列,可以得到aaa.txt和bbb.txt的差集:
文件1的差集
[root@localhost cc]# comm 1 2 -2 -3
c
d
文件2的差集
[root@localhost cc]# comm 1 2 -1 -3
f