grep,sed,awk常见应用及总结

Linux 操作文本的三大利器分别是 grep、sed 、awk，简称三剑客。

大师兄 awk：最擅长取列；二师兄 sed：最擅长取行；三师兄 grep：最擅长过滤。

grep（主要用于查找）：

grep root /etc/passwd =cat /etc/passwd |grep root

-n  显示行数
--color  高亮显示关键字
-v    查找关键字以外的内容
-A3  查看关键字后3行的内容  after
-B2  查看关键字前2行的内容  before

grep是查找匹配条件的行，find是搜索匹配条件的文件。

[root@CentOS8 test]# grep "energywise" * #在当前目录搜索带'energywise'行的文件。
aa.txt:energywise
[root@CentOS8 test]# grep -r "energywise" * #在当前目录及其子目录下搜索'energywise'行的文件。
aa.txt:energywise
[root@CentOS8 test]# grep -r -l "energywise" * #在当前目录及其子目录下搜索'energywise'行的文件，但是不显示匹配的行，只显示匹配的文件。
aa.txt

sed（主要对行的关键字进行处理）：

• -n ：使用安静(silent)模式。在一般 sed 的用法中，所有来自 STDIN 的数据一般都会被列出到终端上。但如果加上 -n 参数后，则只有经过sed 特殊处理的那一行(或者动作)才会被列出来。
• -e ：直接在命令列模式上进行 sed 的动作编辑（可以作为测试用，不会修改文件内容）；
• -f ： 直接将 sed 的动作写在一个文件内， -f filename 则可以运行 filename 内的 sed 动作；
• -r ： sed 的动作支持的是延伸型正规表示法的语法。(默认是基础正规表示法语法)；
• -i ： 直接修改读取的文件内容，而不是输出到终端（会修改文件内容）；

动作说明： [n1[,n2]]

function n1, n2 ：不见得会存在，一般代表『选择进行动作的行数』，举例来说，如果我的动作是需要在 10 到 20 行之间进行的，则『 10,20[动作行为] 』

function：

• a ：新增， a 的后面可以接字串，而这些字串会在新的一行出现(目前的下一行)～
• c ：取代， c 的后面可以接字串，这些字串可以取代 n1,n2 之间的行！
• d ：删除，因为是删除啊，所以 d 后面通常不接任何咚咚；
• i ：插入， i 的后面可以接字串，而这些字串会在新的一行出现(目前的上一行)；
• p ：列印，亦即将某个选择的数据印出。通常 p 会与参数 sed -n 一起运行～
• s ：取代，可以直接进行取代的工作哩！通常这个 s 的动作可以搭配正规表示法！例如 1,20s/old/new/g 就是啦！

只要删除第 2 行

nl /etc/passwd | sed '2d' 

要删除第 3 到最后一行

nl /etc/passwd | sed '3,$d' 

在第二行后(亦即是加在第三行)加上123字样！

nl /etc/passwd | sed '2a 123'

在第二行前面加上123字样！

nl /etc/passwd | sed '2i 123' 

将第二行到第五行的内容替换为   No 2-5 number

nl /etc/passwd | sed '2,5c No 2-5 number'

输出第5行和第7行的内容

nl /etc/passwd | sed -n '5,7p'

（删除指定行）删除/etc/passwd所有包含root的行，其他行输出

nl /etc/passwd | sed  '/root/d'

多个命令同时执行：删除第3行到最后的内容，并把123改为root

sed -e '3,$d' -e 's/123/root/g'  test.txt

修改匹配内容

sed -e "s#匹配内容#修改内容#g"  文件名   测试
sed -i "s#匹配内容#修改内容#g"  文件名    修改

[root@CentOS8 test]# sed -e 's#energywise#boxiaoyuan#g' aa.txt 
boxiaoyuan
[root@CentOS8 test]# sed -i 's#energywise#boxiaoyuan#g' aa.txt  
[root@CentOS8 test]# cat aa.txt 
boxiaoyuan

awk（主要对行的多个字段进行处理）：

格式：

awk [options] '{pattern + action}' {filenames}

常用参数：

• -F 指定分隔符（可以是字符串或正则表达式）

cat /etc/passwd |awk  -F ':'  '{print $1}' 
cat /etc/passwd |awk  -F ':'  'BEGIN {print "name,shell"}  {print $1","$7} END {print "blue,/bin/nosh"}'
awk -F: '/root/' /etc/passwd

$0 代表整行，$1 代表第 1 段，$2 代表第 2 段，以此类推，$NF 代表最后一个字段，多个字段直接用逗号隔开。

awk 变量：

• FS：输入字段分隔符，默认空白字符，一般需要加 -F
• OFS：输出字段分隔符，默认是空格，一般需要加 -v
• NF：分隔后的字段数量
• NR：当前行的行号

关系运算模式：

awk -F '#' 'NF==5 {print $1}' test

如果行的分段数量为5 的话，进行打印操作，其他的类似，如 NF>2，NF<4，$1==1234 等都是判断条件。

awk -F '#' 'NF>=4 && NF<=5 {print $1}' test