流编辑器Sed

Sed简介

Sed是一款流编辑工具，用来对文本进行过滤与替换操作，特别是当你想要对几十个配置文件做统一修改时，你会感受到Sed的魅力！Sed通过一次仅读取一行内容来对某些指令进行处理后输出，所以Sed更适合于处理大数据文件。首先，Sed通过文件或管道读取文件内容，但Sed默认并不直接修改源文件，而是将读入的内容复制到缓冲区中，我们称之为模式空间（pattern space），所有的指令操作都是在模式空间中进行的，然后Sed根据相应的指令对模式空间中的内容进行处理并输出结果，默认输出至标准输出（即屏幕上）。Sed工作流程如下图所示：

Sed基本语法格式

Sed从文件中读取数据，如果没有输入文件，则默认对标准输入进程数据进行处理，脚本指令是第一个非“-”开头的参数，具体语法格式如下。

用法：sed[选项]...{脚本指令} [输入文件]...
选项：--version　　　　 　　   显示sed版本
　　　-h或--help　　　 　　    显示帮助文档
　　　-n或--quiet或--silent　　静默输出，默认情况下，sed程序在所有的脚本指令执行完毕后，将自动打印模式空间中的内容，该选项可以屏蔽自动打印

　　　-e script　　　　　  允许多个脚本指令被执行
　　　-f script-file　　　   从文件中读取脚本指令，对编写自动脚本程序很实用
　　　-i或-in-place　　　  慎用，该选项将直接修改源文件
　　　-l N　　　　　　　   该选项指定l指令可以输出的行长度，l指令为输出非打印字符
　　　--posix　　　　　　 禁用GNU sed扩展功能
　　　-r　　　　　　　　   在脚本指令中使用扩展正则表达式
　　　-s或--separate　　  默认情况下，sed将把输入的多个文件名作为一个长的连续的输入流。而GNU sed则允许把它们当作单独的文件
　　　-u或-unbuffered　　最低限度的缓存输入与输出

Sed 入门范例

1. 基本格式范例

Sed 通过特定的脚本指令对文件进行处理，这里就简单介绍几个脚本指令操作作为Sed程序的范例。a，append表示追加指令；i，insert表示插入指令；d，delete表示删除指令；s，substitution表示替换指令。sed脚本指令的基本格式是：[地址]命令（有些命令仅可以对一行操作，有些可以对多行操作），命令也可以用花括号进行组合，使命令序列可以作用于同一个地址。

address {
command1
command2
command3
}

下面的test.txt为操作样本源文件（注意有若干空白行），介绍Sed的用法。

[root@192 ~]# cat test.txt
DEVICE=ens33
BOOTPROTO=static
IPADDR=192.168.0.1
NETMASK=255.255.255.0
GATEWAY=192.168.0.254

ONBOOT=yes

[root@192 ~]# sed '2a TYPE=Ethernet' test.txt     # 第二行后追加TYPE=Ethernet

[root@192 ~]# sed '3i TYPE=Ethernet' test.txt      # 第三行前追加TYPE=Ethernet 

[root@192 ~]# sed 's/yes/no/g' test.txt                # 将样本文件中的所有yes替换为no 

[root@192 ~]# sed '3,4d' test.txt                           # 删除第3，4行的内容

[root@192 ~]# sed -e '3,4d' test.txt                       # 删除第3，4行的内容

注意：这里 sed -e 和 sed 是一样的！同时也要注意的是，sed 后面接的动作，请务必以 '' 两个单引号括住！

以上大多数操作指令都依据行号定位操作对象（地址），如：2a即第二行后追加。

实际工作中，可能大多数情况你并不确定你要操作对象（地址）的行号，这时更多的会使用正则表达式确定操作对象（地址）。下面是使用正则表达式定位操作行的示例：

匹配到包含ONBOOT的行，并在其后添加TYPE=Ethernet：

[root@192 ~]# sed '/ONBOOT/a TYPE=Ethernet' test.txt

匹配以GATEWAY开始的行，并删除该行：

[root@192 ~]# sed '/^GATEWAY/d' test.txt

另外，我们的操作指令可以写入到脚本文件中，并通过sed的-f选项读取，脚本文件中的注释行是以#开始的行，如果#后面的字符为n，则屏蔽Sed程序的自动输出功能，等同于命令选项-n。

创建一个sed脚本，内容如下：

[root@192 ~]# cat sed.sh      # 脚本内容为匹配到空白行后，删除该行
# This is a test sed command
/^$/d

[root@192 ~]# sed -f sed.sh test.txt      # 对test.txt文件执行sed.sh脚本指令

而当你需要执行多个指令时，可以使用以下三种方法：

[root@192 ~]# sed 's/yes/no/; s/static/dhcp/' test.txt       # 使用分号隔开指令

[root@192 ~]# sed -e 's/yes/no/' -e 's/static/dhcp/' test.txt      # 使用-e选项

[root@192 ~]# sed '            # 利用分行
> s/yes/no/
> s/static/dhcp/' test.txt

然而在命令行上输入过长的指令是愚蠢的，这时需要使用-f选项指定sed 脚本文件，在脚本文件中可以包含多行指令，而且也便于修改。

2. 操作地址匹配范例

通过以上范例不难发现，我们编写的脚本指令需要指定一个地址来决定操作范围，如果不指定，则默认对文件的所有行进行操作。如：sed 'd' test.txt将删除test.txt的所有行，而'2d'则仅删除第二行。Sed为我们提供了以下这些方式来确定需要操作地址的范围。

number　　　　　　 指定输入文件的唯一行号

first~step　　　　　 指定以first开始，并指定操作步长为step，如1、2指定第一行、第三行、第五行……为操作地址。2~5指定第二行开始，每5行匹配一次操作地址

[root@192 ~]# sed -n '1~2p' test.txt　　# 打印文件的奇数行

$　　　　　　　　　　匹配文件的最后一行

/regexp/　　　　　　 //中间包含的是正则表达式，通过正则表达式匹配操作地址。如果//中正则表达式为空，匹配最近一次正则表达式的匹配地址

cregexpc　　　　　　c与c之间匹配扩展正则表达式，c字符可以使用任意字符替代

addr1，addr2　　　　匹配从操作地址1到操作地址2的所有行

[root@192 ~]# sed '2,8d' test.txt　　# 删除2~8之间的所有行

addr1，+N　　　　　匹配地址1以及后面的N行内容

Sed指令与脚本

1. Sed常用指令汇总

下表给出了常用的sed脚本指令的说明，下面分别看看每个指令的详细用法。

指令	功能	指令	功能
s	替换	d	删除
a	追加	i	插入
c	更改	l	打印（显示非打印字符）
y	按字符转换	L	打印（不显示非打印字符）
p	打印	r	读入文件内容
w	保存至文件	q	退出

2. Sed脚本指令范例

范例1

范例1所使用的样本文件为（注意有空白行）：

[root@192 ~]# cat test.txt
DEVICE=ens33
ONBOOT=yes
BOOTPROTO=static

IPADDR=192.168.0.1
NETMASK=255.255.255.0

GATEWAY=192.168.0.254

范例1：删除文件中空白行

编写sed脚本为：

[root@192 ~]# cat sed.sh
/.*/{
/^$/d
}

执行sed程序的结果如下：

[root@192 ~]# sed -f sed.sh test.txt
DEVICE=ens33
ONBOOT=yes
BOOTPROTO=static
IPADDR=192.168.0.1
NETMASK=255.255.255.0
GATEWAY=192.168.0.254

范例2~范例5所使用的样本文件为：

[root@192 ~]# cat test.txt
DEVICE=ens33
ONBOOT=yes
BOOTPROTO=static
NETMASK=255.255.255.0
GATEWAY=192.168.0.254

范例2：在static行后添加一行，内容为IPADDR=192.168.0.1

[root@192 ~]# sed '/static/a IPADDR=192.168.0.1' test.txt

范例3：在匹配NETMASK的行前插入内容IPADDR=192.168.0.1

[root@192 ~]# sed '/NETMASK/i IPADDR=192.168.0.1' test.txt

范例4：将包含ONBOOT行的内容更改为ONBOOT=no

[root@192 ~]# sed '/ONBOOT/c ONBOOT=no' test.txt

范例5：列印（l）显示模式空间中的内容，显示非打印字符，一般与-n一起使用，否则会输出两次

[root@192 ~]# sed -n '1,2l' test.txt    # 在sed脚本文件中，需要#n屏蔽自动输出

结果如下：

DEVICE=ens33$
ONBOOT=yes$

范例6：显示第一、二行的内容

打印（p）：作用类似于l（列印），但不显示非显示字符，一般与-n配合使用

[root@192 ~]# sed -n '1,2p' test.txt

结果如下：
DEVICE=ens33
ONBOOT=yes

范例7：显示test.txt内容的前两行内容后退出sed指令

[root@192 ~]# sed '2q' test.txt

范例8：直接修改文件内容（危险动作）

注意：sed -i 可以直接修改文件的内容，不必使用管道命令或重定向！ 不过，由于这个动作会直接修改到原始的文件，所以请你千万不要随便拿系统配置来测试！

 [root@192 ~]# sed -i 's/yes/no/' test.txt

范例9：在test.txt最后一行加入# This is a test!

[root@192 ~]# sed -i '$a # This is a test!' test.txt

范例10：批量替换指定目录下所有文件的指定内容

[root@192 ~]# sed -i 's/https/http/g' `grep https -rl demo`

功能：用来替换当前demo目录下文件及子文件中所有文件中的https为http

说明：

-i 表示inplace edit，就地修改文件

-r 表示搜索子目录

-l 表示输出匹配的文件名

 

参考自，丁明一    编著    《Linux运维之道》