awk
awk是一个强大的文本分析工具，相对于grep的查找，sed的编辑，awk在其对数据分析并生成报告时，显得尤为强大。
简单来说awk就是把文件逐行的读入，以 空格或TAB 为默认分隔符 将每行分段，切开的部分再进行各种分析处理。
awk脚本基本结构
简单：awk '条件类型1{动作1} 条件类型2{动作2} ...' filename
复杂：awk 'BEGIN{ print "start" } pattern{ action } END{ print "end" }' file
参数：awk [-F|-f|-v] ‘BEGIN{} //{command1; command2} END{}’ file
[-F|-f|-v] 大参数，-F指定分隔符，-f调用脚本，-v定义变量 var=value
一个awk脚本通常由：BEGIN语句块、能够使用模式匹配的通用语句块、END语句块3部分组成，这三个部分是可选的。任意一个部分都可以不出现在脚本中，脚本通常是被单引号或双引号中 例如： awk 'BEGIN{ i=0 } { i++ } END{ print i }' filenameawk"BEGIN{ i=0 } { i++ } END{ print i }"filename
BEGIN语句块在awk开始从输入流中读取行之前被执行，这是一个可选的语句块，比如变量初始化、打印输出表格的表头等语句通常可以写在BEGIN语句块中。
pattern可以为定值、计算表达式、awk命令。
最终结果为1则执行action、为0则不执行
{ action}，awk读取的每一行都会执行该语句块。
END语句块在awk从输入流中读取完所有的行之后即被执行，比如打印所有行的分析结果这类信息汇总都是在END语句块中完成，它也是一个可选语句块。
awk的工作原理
- 第一步：执行
BEGIN{ commands }语句块中的语句； - 第二步：从文件或标准输入(stdin)读取一行，然后执行
pattern{ action }语句块，它逐行扫描文件，从第一行到最后一行重复这个过程，直到文件全部被读取完毕。 - 第三步：当读至输入流末尾时，执行
END{ commands }语句块。
特殊要点:
$0 表示整个当前行
$1 每行第一个字段
NF 每行字段总数
NR 每行的 行号，多文件记录递增
FNR 与NR类似，不过多文件记录不递增，每个文件都从1开始
制表符
换行符
FS BEGIN时定义分隔符
RS 输入的记录分隔符， 默认为换行符(即文本是按一行一行输入)
~ 匹配，与==相比不是精确比较
!~ 不匹配，不精确比较
== 等于，必须全部相等，精确比较
!= 不等于，精确比较
&& 逻辑与
|| 逻辑或
+ 匹配时表示1个或1个以上
/[0-9][0-9]+/ 两个或两个以上数字
/[0-9][0-9]*/ 一个或一个以上数字
FILENAME 文件名
OFS 输出字段分隔符， 默认也是空格，可以改为制表符等
ORS 输出的记录分隔符，默认为换行符,即处理结果也是一行一行输出到屏幕
-F'[:#/]' 定义三个分隔符
- awk 的逻辑运算字节
既然有需要用到 "条件" 的类别：
| 运算单元 | 代表意义 |
| > | 大於 |
| < | 小於 |
| >= | 大於或等於 |
| <= | 小於或等於 |
| == | 等於 |
| != | 不等於 |
在 /etc/passwd 当中是以冒号 ":" 来作为栏位的分隔， 该文件中第一栏位为帐号，第三栏位则是 UID。那假设我要查阅，第三栏小於 10 以下的数据，并且仅列出帐号与第三栏， 那么可以这样做：
[root@www ~]# cat /etc/passwd | > awk '{FS=":"} $3 < 10 {print $1 " " $3}' root:x:0:0:root:/root:/bin/bash bin 1 daemon 2 ....(以下省略)....有趣吧！不过，怎么第一行没有正确的显示出来呢？这是因为我们读入第一行的时候，那些变量 $1, $2... 默认还是以空白键为分隔的，所以虽然我们定义了 FS=":" 了， 但是却仅能在第二行后才开始生效。那么怎么办呢？我们可以预先配置 awk 的变量啊！ 利用 BEGIN 这个关键字喔！这样做：
[root@www ~]# cat /etc/passwd | > awk 'BEGIN {FS=":"} $3 < 10 {print $1 " " $3}' root 0 bin 1 daemon 2 ......(以下省略)......
print & $0print 是awk打印指定内容的主要命令awk '{print}' /etc/passwd == awk '{print $0}' /etc/passwd //全部输出awk '{print ""}' /etc/passwd //不输出passwd的内容，而是输出相同个数的空行， //进一步解释了awk是一行一行处理文本awk '{print "a"}' /etc/passwd //输出相同个数的a行，一行只有一个a字母awk '{ print $2,$3 }' filename //打印每行的第二和第三个字段
当print的参数是以逗号进行分隔时，打印时则以空格或TAB作为定界符
awk '{print $NF}'
-F指定分隔符awk
-F":" '{print $1}' awk -F: '{print $1; print $2}' //将每一行的前二个字段，分行输出，进一步理解一行一行处理文本awk
-F: '{print $1,$3,$6}' OFS=" " //输出字段1,3,6，以制表符作为分隔符
指定多种分隔符号awk
-F'[:#/]' 定义三个分隔符
awk -F'[ :]'
使用 空格和: 作为分隔符
awk -F' |:'
同上
如果连续出现分隔符，那我们这样取数据的时候会报错
解决这个问题的办法就是-F'[ ]+'，用+号来将连续出现的分隔符当成一个来处理
[ ] 表示一个字符的集合，+则是一个正则表达式，表示+前面的字符（：或者空格）重复1次或者一次以上
awk -F'[ :]+'
//匹配代码块
//纯字符匹配 !//纯字符不匹配 ~//字段值匹配 !~//字段值不匹配 ~/a1|a2/字段值匹配a1或a2
awk '/mysql/' /etc/passwd
awk '/mysql/{print }' /etc/passwd
awk '/mysql/{print $0}' /etc/passwd //三条指令结果一样
awk '!/mysql/{print $0}' /etc/passwd //输出不匹配mysql的行
awk '/mysql|mail/{print}' /etc/passwd
awk '!/mysql|mail/{print}' /etc/passwd
awk -F: '/mail/,/mysql/{print}' /etc/passwd //区间匹配
awk '/[2][7][7]*/{print $0}' /etc/passwd //匹配包含27为数字开头的行，如27，277，2777...
awk -F: '$1~/mail/{print $1}' /etc/passwd //$1匹配指定内容才显示
awk -F: '{if($1~/mail/) print $1}' /etc/passwd //与上面相同
awk -F: '$1!~/mail/{print $1}' /etc/passwd //不匹配
awk -F: '$1!~/mail|mysql/{print $1}' /etc/passwd
使用BEGIN 和 END
执行流程# cat
/etc/passwd |awk -F':' 'BEGIN {print "start"}{print $1,$7} END{print "end"}'
start
root /bin/bash
bin /sbin/nologin
daemon /sbin/nologin
……
end
awk内置变量
awk有许多内置变量用来设置环境信息，这些变量可以被改变，下面给出了最常用的一些变量。
ARGC 命令行参数个数
ARGV 命令行参数排列
ENVIRON 支持队列中系统环境变量的使用
FILENAME awk浏览的文件名
FNR 浏览文件的记录数
FS 设置输入域分隔符，等价于命令行 -F选项
NF 浏览记录的域的个数
NR 已读的记录数
OFS 输出域分隔符
ORS 输出记录分隔符
RS 控制记录分隔符
awk -F':''{print "filename:"FILENAME ",linenumber:" NR ",columns:"NF ",linecontent:"$0}' /etc/passwd
filename:/etc/passwd,linenumber:1,columns:7,linecontent:root:x:0:0:root:/root:/bin/bash
filename:/etc/passwd,linenumber:2,columns:7,linecontent:bin:x:1:1:bin:/bin:/sbin/nologin
filename:/etc/passwd,linenumber:3,columns:7,linecontent:daemon:x:2:2:daemon:/sbin:/sbin/nologin
awk编程
变量和赋值
除了awk的内置变量，awk还可以自定义变量。
下面统计/etc/passwd的账户人数
awk '{count++;print $0;} END{print "user count is ", count}' /etc/passwd
root:x:0:0:root:/root:/bin/bash
......
user count is 40
count是自定义变量。之前的action{}里都是只有一个print,其实print只是一个语句，而action{}可以有多个语句，以;号隔开。
这里没有初始化count，虽然默认是0，但是妥当的做法还是初始化为0:
awk 'BEGIN {count=0;print "[start]user count is ", count} {count=count+1;print $0;} END{print "[end]user count is ", count}' /etc/passwd
[start]user count is 0
root:x:0:0:root:/root:/bin/bash
...
[end]user count is 40
条件语句
awk中的条件语句是从C语言中借鉴来的，见如下声明方式：
复制代码
if (expression) {
statement;
statement;
... ...
}
if (expression) {
statement;
} else {
statement2;
}
if (expression) {
statement1;
} else if (expression1) {
statement2;
} else {
statement3;
}
awk中的循环语句同样借鉴于C语言，支持while、do/while、for、break、continue，这些关键字的语义和C语言中的语义完全相同。
显示/etc/passwd的账户
这里使用for循环遍历数组
awk -F ':' 'BEGIN {count=0;} {name[count] = $1;count++;}; END{for (i = 0; i < NR; i++) print i, name[i]}' /etc/passwd
0 root
1 daemon
2 bin
3 sys
4 sync
5 games
......
awk数组：
定义方法
1：可以用数值作数组索引(下标)
array[1]=“cheng mo”
array[2]=“800927”
如果某数组元素不存在，则自动创建此元素并初始化为空串
2：可以用字符串作数组索引(下标)
array[“first”]=“cheng ”
array[“last”]=”mo”
array[“birth”]=”800927”
使用中 print array[1] 将得到”cheng mo” 而 print array[2] 和 print array[“birth”] 都将得到 ”800927” 。
3：循环输出数组的值
{ for (a in array) print a,array[a]} # 输出的顺序是随机的
first cheng
2 800927
birth 800927
1 chengmo
last mo
实例分析:
netstat -n | awk '/^tcp/ {++S[$NF]};END {for(a in S) print a, S[a]}'
#netstat -n
tcp 0 0 192.168.0.104:48326 192.168.0.104:80 TIME_WAIT
tcp 0 104 192.168.0.104:22 192.168.0.102:54582 ESTABLISHED
tcp6 0 0 192.168.0.104:80 192.168.0.102:52486 TIME_WAIT
tcp6 0 0 192.168.0.104:80 192.168.0.102:52488 TIME_WAIT
tcp6 0 0 192.168.0.104:80 192.168.0.102:52490 TIME_WAIT
首先awk 对每一行 匹配 是否以 tcp开头
匹配成功后 建立一个数组S，数组下标是该行最后一列的值,初始化为0 即 S[TIME_WAIT]=0
但是我们这里实际表达的是S[TIME_WAIT]=1
所以我们使用自增 ++ ，读取变量前先自增，这样第一行的结果就是 S[TIME_WAIT]=1
第二行同理 S[ESTABLISHED]=1
第三行 又是 S[TIME_WAIT]，这一行数组元素会增加1 ，S[TIME_WAIT]=2
sed命令：
sed 本身也是一个管线命令，可以分析 standard input ！
而且 sed 还可以将数据进行取代、删除、新增、撷取特定行等等的功能
[root@www ~]# sed [-nefr] [动作] 选项与参数： -n ：使用安静(silent)模式。在一般 sed 的用法中，所有来自 STDIN 的数据一般都会被列出到萤幕上。 但如果加上 -n 参数后，则只有经过 sed 特殊处理的那一行(或者动作)才会被列出来。 -e ：直接在命令列模式上进行 sed 的动作编辑； -f ：直接将 sed 的动作写在一个文件内， -f filename 则可以运行 filename 内的 sed 动作； -r ：sed 的动作支持的是延伸型正规表示法的语法。(默认是基础正规表示法语法) -i ：直接修改读取的文件内容，而不是由萤幕输出。 动作说明： [n1[,n2]]function n1, n2 ：不见得会存在，一般代表『选择进行动作的行数』，举例来说，如果我的动作 是需要在 10 到 20 行之间进行的，则『 10,20[动作行为] 』 function 有底下这些： a ：新增， a 的后面可以接字串，而这些字串会在新的一行出现(目前的下一行)～ c ：取代， c 的后面可以接字串，这些字串可以取代 n1,n2 之间的行！ d ：删除，因为是删除啊，所以 d 后面通常不接任何；
i ：插入， i 的后面可以接字串，而这些字串会在新的一行出现(目前的上一行)；
p ： 将某个选择的数据印出。通常 p 会与参数 sed -n 一起运行～
s ：取代，通常这个 s 的动作可以搭配 正规表示法！例如 1,20s/old/new/g
注意：单引号内没法通过’这样来转义；
双引号内可以用”来转义
sed 删除
范例一：将 /etc/passwd 的内容列出并且列印行号，同时，请将第 2~5 行删除！
[root@www ~]# nl /etc/passwd | sed '2,5d'
1 root:x:0:0:root:/root:/bin/bash
6 sync:x:5:0:sync:/sbin:/bin/sync
7 shutdown:x:6:0:shutdown:/sbin:/sbin/shutdown
.....(后面省略).....
|
删除第二行到最后 sed '2,$d'
删除hello所在的整行 sed -i '/hello/d'
sed 增加
在第二行后(亦即是加在第三行)加上『drink tea?』字样！
sed '2a drink tea '
在第二行前 增加
sed '2i drink tea'
替换：c、s
将第2-5行的内容取代成为『No 2-5 number』
sed '2,5c No 2-5 number'
、
sed 's/要被取代的字串/新的字串/g'
注意：s为替换每行第一个匹配字串；s g 为替换每行所有匹配字串
inet addr:192.168.1.100 Bcast:192.168.1.255 Mask:255.255.255.0
将开始到 addr: 通通删除 sed 's/^.*addr://g'
将ip地址后面通透删除 sed 's/Bcast.*$//g'
替换匹配行中的某个字符串
sed -i '/匹配行字符串/s/替换字符串/新字符串/g' $file
将3到5行中 A替换为B
sed -i '3,5s/A/B/g'
替换每行第一个匹配的字串 sed 's/A/B/1'
替换每行第二个匹配的字串sed 's/A/B/2'
只替换每行第3个匹配以后的字串sed 's/A/B/3g'
sed 显示功能
以前想要列出第 11~20 行， 得要透过『head -n 20 | tail -n 10』之类的方法来处理，很麻烦啦～
sed 则可以简单的直接取出你想要的那几行
仅列出 /etc/passwd 文件内的第 5-7 行
cat /etc/passwd | sed -n '5,7p' 一定使用 -n
- sed直接修改文件内容(危险动作)
sed 甚至可以直接修改文件的内容呢！而不必使用管线命令或数据流重导向！
利用 sed 将 regular_express.txt 内每一行结尾若为 . 则换成 !
# sed -i 's/.$/!/g' regular_express.txt
# 上头的 -i 选项可以让你的 sed 直接去修改后面接的文件内容而不是由萤幕输出！
利用 sed 直接在 regular_express.txt 最后一行加入『# This is a test』
# sed -i '$a # This is a test' regular_express.txt
# 由於 $ 代表的是最后一行，而 a 的动作是新增，因此该文件最后新增罗！