Linux学习42 必备技能-文本处理神器sed命令应用与实战

一、sed命令

　　1、文本处理三剑客

　　　　grep，egrep，fgrep：文本过滤器

　　　　sed：Stream EDitor，流编辑器，行。

　　　　awk：文本格式化工具，报告生成器

　　2、sed处理文本时会每次从文本中读出来一行然后将这一行放到sed自己的工作车间内进行加工，他不会动源文件只是把这个文件每一行复制出来后放到自己专用的工作车间，这个工作车间叫做pattern space（模式空间），也就是自己的内存空间。在自己的车间处理完成后会输出到标准输出中。

　　　　

 　　3、sed命令

　　　　a、格式

　　　　　　sed [OPTION]... 'script' [input-file]...

　　　　　　script：地址定界+编辑命令

　　　　b、常用选项

　　　　　　-n：不输出模式空间中的内容至屏幕

　　　　　　-e script，--expression=script：多点编辑，就是多次编辑在一条命令中执行

　　　　　　　　

　　　　　　-f /PATH/TO/SED_SCRIPT_FILE ：每行一个编辑命令

　　　　　　-r，--regexp-extended：支持使用扩展正则表达式

　　　　　　-i[SUFFIX], --in-place[=SUFFIX]：直接编辑原文件

　　　　　　　　删掉原文件中以UUID开头的行

[root@localhost ~]# sed -i '/^UUID/d' /etc/fstab

　　　　c、地址定界

　　　　　　（1）、空地址：对全文进行处理

　　　　　　（2）、单地址

　　　　　　　　#：指定行

　　　　　　　　/pattern/：被此模式所匹配到的每一行

　　　　　　（3）、地址范围

　　　　　　　　#，#：从第几行到第几行

　　　　　　　　#，+#：从第几行开始，增加到第几行

　　　　　　　　#，/pat1/：从所指定的行开始到匹配的某个模式行结束

　　　　　　　　/pat1/，/pat2/：从匹配的某个模式行开始，然后匹配的某个模式行结束

　　　　　　（4）、步进：~

　　　　　　　　1~2：所有奇数行，即从第一行开始，步长为2

　　　　　　　　2~2：所有偶数行，即从第二行开始，步长为2

　　4、sed编辑命令

　　　　a、d：相当于delete，删除匹配模式空间中的内容

[root@localhost ~]# cat -n /etc/fstab |sed '1,8d'
     9    /dev/mapper/centos-root /                       xfs     defaults        0 0
    10    UUID=7b808363-4f9d-4f63-a543-28928b32c184 /boot                   xfs     defaults        0 0
    11    /dev/mapper/centos-swap swap                    swap    defaults        0 0

[root@localhost ~]# sed '/^UUID/d' /etc/fstab 

#
# /etc/fstab
# Created by anaconda on Wed Oct 24 05:18:55 2018
#
# Accessible filesystems, by reference, are maintained under '/dev/disk'
# See man pages fstab(5), findfs(8), mount(8) and/or blkid(8) for more info
#
/dev/mapper/centos-root /                       xfs     defaults        0 0
/dev/mapper/centos-swap swap                    swap    defaults        0 0

　　　　　　从第1行开始，步进2个进行删除

[root@localhost ~]# cat -n /etc/fstab |sed '1~2d'
     2    #
     4    # Created by anaconda on Wed Oct 24 05:18:55 2018
     6    # Accessible filesystems, by reference, are maintained under '/dev/disk'
     8    #
    10    UUID=7b808363-4f9d-4f63-a543-28928b32c184 /boot                   xfs     defaults        0 0

　　　　b、p：相当于print，打印模式匹配空间中的内容，一般和-n一起使用，先用-n不输出模式空间中的内容至屏幕，然后再打印匹配到的模式空间中的内容

[root@localhost ~]# cat -n /etc/fstab |sed -n '1,5p'
     1    
     2    #
     3    # /etc/fstab
     4    # Created by anaconda on Wed Oct 24 05:18:55 2018
     5    #

　　　　c、a  ext：相当于append，在行后面追加文本"text"，支持使用 实现多行追加

　　　　　　在/etc/fstab文件第三行后面追加 new line信息

[root@localhost ~]# cat -n /etc/fstab|sed '3a 
ew line'
     1    
     2    #
     3    # /etc/fstab
new line
     4    # Created by anaconda on Wed Oct 24 05:18:55 2018
     5    #
     6    # Accessible filesystems, by reference, are maintained under '/dev/disk'
     7    # See man pages fstab(5), findfs(8), mount(8) and/or blkid(8) for more info
     8    #
     9    /dev/mapper/centos-root /                       xfs     defaults        0 0
    10    UUID=7b808363-4f9d-4f63-a543-28928b32c184 /boot                   xfs     defaults        0 0
    11    /dev/mapper/centos-swap swap                    swap    defaults        0 0

　　　　d、i ext：相当于insert，在行前面插入文本"text"，支持使用 实现多行插入

　　　　　　在/etc/fstab文件第三行前面插入 new line信息

[root@localhost ~]# cat -n /etc/fstab|sed '3i 
ew line'
     1    
     2    #
new line
     3    # /etc/fstab
     4    # Created by anaconda on Wed Oct 24 05:18:55 2018
     5    #
     6    # Accessible filesystems, by reference, are maintained under '/dev/disk'
     7    # See man pages fstab(5), findfs(8), mount(8) and/or blkid(8) for more info
     8    #
     9    /dev/mapper/centos-root /                       xfs     defaults        0 0
    10    UUID=7b808363-4f9d-4f63-a543-28928b32c184 /boot                   xfs     defaults        0 0
    11    /dev/mapper/centos-swap swap                    swap    defaults        0 0

　　　　　　在所有以UUID开头的行前面插入信息： #add new device base on UUID 

[root@localhost ~]# cat /etc/fstab |sed '/^UUID/i #add new device base on UUID'

#
# /etc/fstab
# Created by anaconda on Wed Oct 24 05:18:55 2018
#
# Accessible filesystems, by reference, are maintained under '/dev/disk'
# See man pages fstab(5), findfs(8), mount(8) and/or blkid(8) for more info
#
/dev/mapper/centos-root /                       xfs     defaults        0 0
#add new device base on UUID
UUID=7b808363-4f9d-4f63-a543-28928b32c184 /boot                   xfs     defaults        0 0
/dev/mapper/centos-swap swap                    swap    defaults        0 0

　　　　e、c ext：把匹配到的行替换为此处指定的文本text

[root@localhost ~]# cat /etc/fstab |sed '/^UUID/c #add new device base on UUID'

#
# /etc/fstab
# Created by anaconda on Wed Oct 24 05:18:55 2018
#
# Accessible filesystems, by reference, are maintained under '/dev/disk'
# See man pages fstab(5), findfs(8), mount(8) and/or blkid(8) for more info
#
/dev/mapper/centos-root /                       xfs     defaults        0 0
#add new device base on UUID
/dev/mapper/centos-swap swap                    swap    defaults        0 0

　　　　f、w /PATH/TO/SOMEFILE：保存模式空间匹配到的行至指定的文件中

　　　　　　把非井号开头的行保存至/tmp/fstab.new文件中

[root@localhost ~]# sed '/^[^#]/w /tmp/fstable.new' /etc/fstab 

#
# /etc/fstab
# Created by anaconda on Wed Oct 24 05:18:55 2018
#
# Accessible filesystems, by reference, are maintained under '/dev/disk'
# See man pages fstab(5), findfs(8), mount(8) and/or blkid(8) for more info
#
/dev/mapper/centos-root /                       xfs     defaults        0 0
UUID=7b808363-4f9d-4f63-a543-28928b32c184 /boot                   xfs     defaults        0 0
/dev/mapper/centos-swap swap                    swap    defaults        0 0
[root@localhost ~]# cat /tmp/fstable.new 
/dev/mapper/centos-root /                       xfs     defaults        0 0
UUID=7b808363-4f9d-4f63-a543-28928b32c184 /boot                   xfs     defaults        0 0
/dev/mapper/centos-swap swap                    swap    defaults        0 0

　　　　g、r /PATH/FROM/SOMEFILE：读取指定文件的内容至当前文件被模式匹配到的行处

　　　　　　在/etc/fstab第三行的后面插入 /etc/issue文件的内容

[root@localhost ~]# sed '3r /etc/issue' /etc/fstab 

#
# /etc/fstab
S
Kernel 
 on an m

# Created by anaconda on Wed Oct 24 05:18:55 2018
#
# Accessible filesystems, by reference, are maintained under '/dev/disk'
# See man pages fstab(5), findfs(8), mount(8) and/or blkid(8) for more info
#
/dev/mapper/centos-root /                       xfs     defaults        0 0
UUID=7b808363-4f9d-4f63-a543-28928b32c184 /boot                   xfs     defaults        0 0
/dev/mapper/centos-swap swap                    swap    defaults        0 0

　　　　h、 = :为模式匹配到的行打印行号

[root@localhost ~]# sed '/^[^#]/=' /etc/fstab 

#
# /etc/fstab
# Created by anaconda on Wed Oct 24 05:18:55 2018
#
# Accessible filesystems, by reference, are maintained under '/dev/disk'
# See man pages fstab(5), findfs(8), mount(8) and/or blkid(8) for more info
#
9
/dev/mapper/centos-root /                       xfs     defaults        0 0
10
UUID=7b808363-4f9d-4f63-a543-28928b32c184 /boot                   xfs     defaults        0 0
11
/dev/mapper/centos-swap swap                    swap    defaults        0 0

　　　　i、 !：条件取反

　　　　　　地址定界!编辑命令

　　　　　　现在我们将不以#开头的行进行删除

[root@localhost ~]# sed '/^#/!d' /etc/fstab 
#
# /etc/fstab
# Created by anaconda on Wed Oct 24 05:18:55 2018
#
# Accessible filesystems, by reference, are maintained under '/dev/disk'
# See man pages fstab(5), findfs(8), mount(8) and/or blkid(8) for more info
#

　　　　j、s///：查找替换，其分隔符可自行指定，常用的有s@@@,s###等

　　　　　　g：全局替换

　　　　　　w /PATH/TO/SOMEFILE：将替换成功的结果保存至指定文件中

　　　　　　p：显示替换成功的行

　　　　　　练习1：删除/boot/grub/grub2.cfg文件中所有以空白字符开头的行的行首的所有空白字符

[root@localhost ~]# sed 's/^[[:space:]]+//g' /etc/grub2.cfg

　　　　　　练习2：删除/etc/fstab文件中所有以#开头的行的行首的#号及#号后面的所有的空白字符

[root@localhost ~]# cat /etc/fstab |sed 's/^#[[:space:]]*//g'

　　　　　　练习3：输出一个绝对路径给sed命令，取出其目录，其行为类似于dirname

[root@localhost ~]# echo "/var/log/messages/" |sed 's#[^/]+/?$##g'
/var/log/

　　5、高级编辑命令

　　　　a、相关参数

　　　　　　1）、h：把模式空间中的内容覆盖至保持空间中。我们说过，我们sed有两个内存空间，一个叫pattern space(我们一般从文件中匹配出来的内容就放在pattern space中的)，一个叫hold space，h表示把pattern space中的内容直接复制出来覆盖至hold space中。

　　　　　　

　　　　　　2）、H：把模式空间中的内容追加至保持空间中。h表示覆盖掉原来的内容；

　　　　　　3）、g：把保持空间中的内容覆盖至模式空间中；

　　　　　　4）、G：把保持空间中的内容追加至模式空间中；

　　　　　　5）、x：把模式空间中的内容与保持空间中的内容互换；

　　　　　　6）、n：覆盖读取匹配到的行的下一行至模式空间中；（会覆盖原行）

　　　　　　7）、N：追加读取匹配到的行的下一行至模式空间中；（只是追加不会覆盖原行）

　　　　　　8）、d：删除模式空间中的行；

　　　　　　9）、D：删除多行模式空间中的所有行；

　　　　b、示例

　　　　　　1)、显示偶数行

[root@localhost ~]# sed -n 'n;p' /etc/fstab 
#
# Created by anaconda on Wed Oct 24 05:18:55 2018
# Accessible filesystems, by reference, are maintained under '/dev/disk'
#
UUID=7b808363-4f9d-4f63-a543-28928b32c184 /boot                   xfs     defaults        0 0

　　　　　　2）、逆序显示文件内容

[root@localhost ~]# sed '1!G;h;$!d' /etc/fstab #不是第一行就执行G，然后执行h，不是最后一行就执行d

　　　　　　3)、取出最后一行

[root@localhost ~]# sed '$!d' /etc/fstab

　　　　　　4)、取出最后两行

[root@localhost ~]# sed '$!N;$!D' /etc/fstab 
UUID=7b808363-4f9d-4f63-a543-28928b32c184 /boot                   xfs     defaults        0 0
/dev/mapper/centos-swap swap                    swap    defaults        0 0

　　　　　　5)、删除原有的所有空白行，而后为所有的非空白行添加一个空白行

[root@localhost ~]# sed '/^$/d;G' /etc/fstab

　　　　　　6)、显示奇数行

[root@localhost ~]# sed 'n;d' /etc/fstab 

　　　　　　7)、在原有的每行后方添加一个空白行

[root@localhost ~]# sed 'G' /etc/fstab