Sed简介
Sed是一款流编辑工具,用来对文本进行过滤与替换操作,特别是当你想要对几十个配置文件做统一修改时,你会感受到Sed的魅力!Sed通过一次仅读取一行内容来对某些指令进行处理后输出,所以Sed更适合于处理大数据文件。首先,Sed通过文件或管道读取文件内容,但Sed默认并不直接修改源文件,而是将读入的内容复制到缓冲区中,我们称之为模式空间(pattern space),所有的指令操作都是在模式空间中进行的,然后Sed根据相应的指令对模式空间中的内容进行处理并输出结果,默认输出至标准输出(即屏幕上)。Sed工作流程如下图所示:
Sed基本语法格式
Sed从文件中读取数据,如果没有输入文件,则默认对标准输入进程数据进行处理,脚本指令是第一个非“-”开头的参数,具体语法格式如下。
用法:sed[选项]...{脚本指令} [输入文件]...
选项:--version 显示sed版本
-h或--help 显示帮助文档
-n或--quiet或--silent 静默输出,默认情况下,sed程序在所有的脚本指令执行完毕后,将自动打印模式空间中的内容,该选项可以屏蔽自动打印
-e script 允许多个脚本指令被执行
-f script-file 从文件中读取脚本指令,对编写自动脚本程序很实用
-i或-in-place 慎用,该选项将直接修改源文件
-l N 该选项指定l指令可以输出的行长度,l指令为输出非打印字符
--posix 禁用GNU sed扩展功能
-r 在脚本指令中使用扩展正则表达式
-s或--separate 默认情况下,sed将把输入的多个文件名作为一个长的连续的输入流。而GNU sed则允许把它们当作单独的文件
-u或-unbuffered 最低限度的缓存输入与输出
Sed 入门范例
1. 基本格式范例
Sed 通过特定的脚本指令对文件进行处理,这里就简单介绍几个脚本指令操作作为Sed程序的范例。a,append表示追加指令;i,insert表示插入指令;d,delete表示删除指令;s,substitution表示替换指令。sed脚本指令的基本格式是:[地址]命令(有些命令仅可以对一行操作,有些可以对多行操作),命令也可以用花括号进行组合,使命令序列可以作用于同一个地址。
address {
command1
command2
command3
}
下面的test.txt为操作样本源文件(注意有若干空白行),介绍Sed的用法。
[root@192 ~]# cat test.txt
DEVICE=ens33
BOOTPROTO=static
IPADDR=192.168.0.1
NETMASK=255.255.255.0
GATEWAY=192.168.0.254
ONBOOT=yes
[root@192 ~]# sed '2a TYPE=Ethernet' test.txt # 第二行后追加TYPE=Ethernet
[root@192 ~]# sed '3i TYPE=Ethernet' test.txt # 第三行前追加TYPE=Ethernet
[root@192 ~]# sed 's/yes/no/g' test.txt # 将样本文件中的所有yes替换为no
[root@192 ~]# sed '3,4d' test.txt # 删除第3,4行的内容
[root@192 ~]# sed -e '3,4d' test.txt # 删除第3,4行的内容
注意:这里 sed -e 和 sed 是一样的!同时也要注意的是,sed 后面接的动作,请务必以 '' 两个单引号括住!
以上大多数操作指令都依据行号定位操作对象(地址),如:2a即第二行后追加。
实际工作中,可能大多数情况你并不确定你要操作对象(地址)的行号,这时更多的会使用正则表达式确定操作对象(地址)。下面是使用正则表达式定位操作行的示例:
匹配到包含ONBOOT的行,并在其后添加TYPE=Ethernet:
[root@192 ~]# sed '/ONBOOT/a TYPE=Ethernet' test.txt
匹配以GATEWAY开始的行,并删除该行:
[root@192 ~]# sed '/^GATEWAY/d' test.txt
另外,我们的操作指令可以写入到脚本文件中,并通过sed的-f选项读取,脚本文件中的注释行是以#开始的行,如果#后面的字符为n,则屏蔽Sed程序的自动输出功能,等同于命令选项-n。
创建一个sed脚本,内容如下:
[root@192 ~]# cat sed.sh # 脚本内容为匹配到空白行后,删除该行
# This is a test sed command
/^$/d
[root@192 ~]# sed -f sed.sh test.txt # 对test.txt文件执行sed.sh脚本指令
而当你需要执行多个指令时,可以使用以下三种方法:
[root@192 ~]# sed 's/yes/no/; s/static/dhcp/' test.txt # 使用分号隔开指令
[root@192 ~]# sed -e 's/yes/no/' -e 's/static/dhcp/' test.txt # 使用-e选项
[root@192 ~]# sed ' # 利用分行
> s/yes/no/
> s/static/dhcp/' test.txt
然而在命令行上输入过长的指令是愚蠢的,这时需要使用-f选项指定sed 脚本文件,在脚本文件中可以包含多行指令,而且也便于修改。
2. 操作地址匹配范例
通过以上范例不难发现,我们编写的脚本指令需要指定一个地址来决定操作范围,如果不指定,则默认对文件的所有行进行操作。如:sed 'd' test.txt将删除test.txt的所有行,而'2d'则仅删除第二行。Sed为我们提供了以下这些方式来确定需要操作地址的范围。
number 指定输入文件的唯一行号
first~step 指定以first开始,并指定操作步长为step,如1、2指定第一行、第三行、第五行……为操作地址。2~5指定第二行开始,每5行匹配一次操作地址
[root@192 ~]# sed -n '1~2p' test.txt # 打印文件的奇数行
$ 匹配文件的最后一行
/regexp/ //中间包含的是正则表达式,通过正则表达式匹配操作地址。如果//中正则表达式为空,匹配最近一次正则表达式的匹配地址
cregexpc c与c之间匹配扩展正则表达式,c字符可以使用任意字符替代
addr1,addr2 匹配从操作地址1到操作地址2的所有行
[root@192 ~]# sed '2,8d' test.txt # 删除2~8之间的所有行
addr1,+N 匹配地址1以及后面的N行内容
Sed指令与脚本
1. Sed常用指令汇总
下表给出了常用的sed脚本指令的说明,下面分别看看每个指令的详细用法。
指令 | 功能 | 指令 | 功能 |
s | 替换 | d | 删除 |
a | 追加 | i | 插入 |
c | 更改 | l | 打印(显示非打印字符) |
y | 按字符转换 | L | 打印(不显示非打印字符) |
p | 打印 | r | 读入文件内容 |
w | 保存至文件 | q | 退出 |
2. Sed脚本指令范例
范例1
范例1所使用的样本文件为(注意有空白行):
[root@192 ~]# cat test.txt
DEVICE=ens33
ONBOOT=yes
BOOTPROTO=static
IPADDR=192.168.0.1
NETMASK=255.255.255.0
GATEWAY=192.168.0.254
范例1:删除文件中空白行
编写sed脚本为:
[root@192 ~]# cat sed.sh
/.*/{
/^$/d
}
执行sed程序的结果如下:
[root@192 ~]# sed -f sed.sh test.txt
DEVICE=ens33
ONBOOT=yes
BOOTPROTO=static
IPADDR=192.168.0.1
NETMASK=255.255.255.0
GATEWAY=192.168.0.254
范例2~范例5所使用的样本文件为:
[root@192 ~]# cat test.txt
DEVICE=ens33
ONBOOT=yes
BOOTPROTO=static
NETMASK=255.255.255.0
GATEWAY=192.168.0.254
范例2:在static行后添加一行,内容为IPADDR=192.168.0.1
[root@192 ~]# sed '/static/a IPADDR=192.168.0.1' test.txt
范例3:在匹配NETMASK的行前插入内容IPADDR=192.168.0.1
[root@192 ~]# sed '/NETMASK/i IPADDR=192.168.0.1' test.txt
范例4:将包含ONBOOT行的内容更改为ONBOOT=no
[root@192 ~]# sed '/ONBOOT/c ONBOOT=no' test.txt
范例5:列印(l)显示模式空间中的内容,显示非打印字符,一般与-n一起使用,否则会输出两次
[root@192 ~]# sed -n '1,2l' test.txt # 在sed脚本文件中,需要#n屏蔽自动输出
结果如下:
DEVICE=ens33$
ONBOOT=yes$
范例6:显示第一、二行的内容
打印(p):作用类似于l(列印),但不显示非显示字符,一般与-n配合使用
[root@192 ~]# sed -n '1,2p' test.txt
结果如下:
DEVICE=ens33
ONBOOT=yes
范例7:显示test.txt内容的前两行内容后退出sed指令
[root@192 ~]# sed '2q' test.txt
范例8:直接修改文件内容(危险动作)
注意:sed -i 可以直接修改文件的内容,不必使用管道命令或重定向! 不过,由于这个动作会直接修改到原始的文件,所以请你千万不要随便拿系统配置来测试!
[root@192 ~]# sed -i 's/yes/no/' test.txt
范例9:在test.txt最后一行加入# This is a test!
[root@192 ~]# sed -i '$a # This is a test!' test.txt
范例10:批量替换指定目录下所有文件的指定内容
[root@192 ~]# sed -i 's/https/http/g' `grep https -rl demo`
功能:用来替换当前demo目录下文件及子文件中所有文件中的https为http
说明:
-i 表示inplace edit,就地修改文件
-r 表示搜索子目录
-l 表示输出匹配的文件名
参考自,丁明一 编著 《Linux运维之道》