1、awk介绍
全称：Ahc weinberger Kernaighan 三个人的首字母缩写
GNU计划80年代发起的开源计划，awk就是GNU带过来的软件程序。
默认情况下，三个工具都不去编辑源文件（grep,sed,awk）
awk报告生成器：
通过模式匹配以及自己本身的语言格式，来获取并输出客户所需要的内容；
示例：获取系统上面用户id大于等于1小于等于500的用户名和用户ID
awk -F: '{if($3>=1&&$3<=500){print $3}}' /etc/passwd
使用格式化输出的意义：
awk -F: -v OFS=":" 'BEGIN{printf"username uid ======================== "}{if($3>=1&&$3<=500){printf"用户名:%-10s UID:%-10d ",$1,$3}}' /etc/passwd
2、awk工作原理
文本文件的多行内容放到awk编辑器里进行操作，默认以空格为分割符，进行分割，awk的内置参数会对分割的内容进行分配，行处理。
3、awk的用法
awk[option] ... 'program' file ...
1.program必须使用单引号
2.多条program语句必须使用大括号包含起来，可以并列，可以嵌套
4、awk的常见option
-F 指定分隔符
awk -F[/:] '{print $3,$5,$7}' /etc/passwd
其中[ ]内表示多个字符中的任意一个
-v 因为awk是一种语言编译器，能自己定义变量，同时也有内置变量
手动指定变量参数
awk -v a="a/b" '{print a}' a.txt
给a赋值，打印a这个变量
1、a是自定义变量 -v FS=":"
2、在awk中调用变量，不用加$符号
扩展：
了解cut与awk的区别：
5、awk的语法格式
1.print
默认输出（在屏幕上输出，并没有存储）
在awk里没有保存命令，我们可以关联别的命令来保存
awk '{a="a/b";print a}' a.txt | tee a.bak
awk '{a="a/b";print a}' a.txt > a.bak.1
2.printf
格式化输出
printf"字符串",$a,$b【仅仅只有顺序关系】
格式符：
%s 字符串
%d %i 数值
%e,%E 科学计算数值
%f 浮点
%c ACSii码值
%u 无符号整数
%% 逃逸符 只显示%自己
修饰符：
默认右对齐
-代表左对齐
%5.4f（5：所占位数，4：所取小数位）
awk '/^UUID/{printf"被挂载文件是:%-20s 挂载点:%-10s 文件系统是:%-10s ",$1,$2,$3}' /etc/fstab
注意：这里提到了地址定界 /^UUID/
3.变量（内置变量、环境变量）
内置变量：环境变量（bash）（env、set -C +C）
awk语言所支持的变量
FS 定义输入分割符变量
OFS 定义输出分隔符的变量
NF （$NF 分割以后最后一列的变量）
*变量引用的时候，不用加$,
NF定义分隔以后的参数个数
NR 定义文件的行数，定义多个文件的，文件的行号叠加
FNR 文件只计算自己的行号
awk '{print NR}' /etc/passwd /etc/fstab
awk '{print FNR}' /etc/passwd /etc/fstab
FILENAME 存储文件的名字
awk '{print FILENAME}' /etc/passwd 把文件名打印N次，N文件的行数
awk 'BEGIN{print FILENAME}' /etc/passwd BEGIN语句只在循环开始的时候，执行一次
ARGC 整个命令的段数
ARGV 数组，用来调取命令中指定的字段
awk 'BEGIN{print ARGC}' /etc/passwd
awk 'BEGIN{print ARGV[3]}' /etc/passwd
RS 指定换行符 可以指定新的换行符，不影响本身的换行符
awk -v RS=" " '{print $0}' /etc/passwd
ORS 输出的时候指定换行符 将默认换行符替换为指定字符
awk -v ORS="@" '{print}' /etc/passwd
自定义变量 -v 变量=值
在后面program中去调用自定义变量时，直接使用即可
或者将“变量=值”语句直接写在program里也行
4.模式匹配（地址定界）
1.空值，没有定义，默认将文件中所有的行放入awk进行循环
2.对固定的1，3行进行操作
awk '1,3{print}' /etc/passwd awk默认不支持1-3 1，3等等这种写法
awk 'NR>=1&&NR<=3{print}' /etc/passwd 需要通过NR变量来指定
3.awk '/r..ter/{print}' /etc/passwd
4./pat1/,/pat2/第一次匹配pat1的行到第一次匹配到pat2的行
awk -F: '/root/,/sshd/{print}' /etc/passwd
练习：判断/pat1/，/pat2/之间的行的用户，是bash的用户，并显示用户的用户名和UID
awk -F: '/^root/,/^mail.*>/{if($NF=="/bin/bash"){print $1,$3,$NF}}' /etc/passwd
5.模式匹配可以直接使用判断语句
awk -F: '$NF=="/bin/bash"{print $1,$3}' /etc/passwd
6.BEGIN|END语句
BEGIN定义在默认循环进行操作前所要执行的语句
awk -F: 'BEGIN{print "shell程序为bash的程序"}$NF=="/bin/bash"{print $1,$3}' /etc/passwd
END循环结束打印
awk -F: 'BEGIN{print "shell程序为bash的程序"}$NF=="/bin/bash"{print $1,$3}END{print "end"}' /etc/passwd
一般在格式化输出的时候打印表头和表尾
5.操作符
运算操作符：
+ - * / %（取余） ** //（取整）
比较运算符：
== != > < >= <=
~ (匹配)!~（不匹配）
逻辑运算符：
&& || ！
赋值运算符
= += -= /= *= %= **= //=
条件表达式：
条件语句？条件成立语句；条件不成立语句
6.常见action
7.常见语言（if while do for break continue delete switch）
1.if语句
语法格式：if(条件表达式){执行语句}
if(条件表达式){执行语句}else{执行语句}
awk '/^tilte/{if(NF<=2){print};else{print "参数过少"}}' /boot/grub/grub.conf
2.while语句
只有对行参数进行遍历的时候才会使用循环；
练习：过滤grub.conf文件中kernel这一行，然后对每个参数的字符个数进行统计，并显示出来
语法格式：初始值 while (条件表达式){循环体 初始控制语句}
3.for语句
语法格式：for(初始值；判断体；初始值控制语句){循环体}
练习：统计一个文件中每个单词出现的次数，以空格隔开的字符串
for(i in 列表){循环体}
4.do-while语句
do {循环体}while(循环体)
5.循环跳出语句
break [n] 跳出n次循环
continue 跳出本次循环
next 跳出默认的当前循环
6.switch语句
8.数组
统计整个文件字符串出现的字数
awk '{for(i=1;i<=NF;i++){count[$i]++}}END{for(i in count){print i,count[i]}}' /etc/fstab
awk '{for(i=1;i<=NF;i++){count[$i]++}}END{for(i in count){print i,count[i]}}' /var/log/httpd/access_log | sort -t" " -k2 -nr
在awk中，数组和shell中的数组特性相同：注意awk中数组不用定义，只要使用了，就有值为空的默认数组，这在做数据统计的时候，非常常见。
行遍历
列遍历
数组通过for语句再给其他变量赋值的时候，赋的值是索引信息
9.函数
内置函数
函数的调用：funcation（参数）
length（） 统计字符串的长度
数学运算上使用的函数sin（） cos（）...........
sub()替换第一个匹配的值 gsub()替换该行所匹配到的所有值
split()指定分隔符切割文件
自定义函数