• Linux awk用法


    相对于grep的查找,sed的编辑,awk在其对数据分析并生成报告时,显得尤为强大。简单来说awk就是把文件逐行的读入,以空格为默认分隔符将每行切片,切开的部分再进行各种分析处理。

    awk 命令的基本格式为:

    [root@localhost ~]# awk [选项] '脚本命令' 文件名

    此命令常用的选项如下:

    选项含义
    -F fs 指定以 fs 作为输入行的分隔符,awk 命令默认分隔符为空格或制表符。
    -f file 从脚本文件中读取 awk 脚本指令,以取代直接在命令行中输入指令。
    -v var=val 在执行处理过程之前,设置一个变量 var,并给其设备初始值为 val。

    awk 的强大之处在于脚本命令,它由 2 部分组成,分别为匹配规则和执行命令,如下所示:

    '匹配规则 {执行命令}'

    这里的匹配规则,用来指定脚本命令可以作用到文本内容中的具体行,可以使用字符串(比如 /demo/,表示查看含有 demo 字符串的行)或者正则表达式指定。

    另外需要注意的是,整个脚本命令是用单引号('')括起,而其中的执行命令部分需要用大括号({})括起来

    在 awk 程序执行时,如果没有指定执行命令,则默认会把匹配的行输出;如果不指定匹配规则,则默认匹配文本中所有的行。

    举个简单的例子:

    [root@localhost ~]# awk '/^$/ {print "Blank line"}' test.txt

    在此命令中,/^$/ 是一个正则表达式,功能是匹配文本中的空白行,同时可以看到,执行命令使用的是 print 命令,此命令经常会使用,它的作用很简单,就是将指定的文本进行输出。因此,整个命令的功能是,如果 test.txt 有 N 个空白行,那么执行此命令会输出 N 个 Blank line。

    awk 使用数据字段变量

    awk 的主要特性之一是其处理文本文件中数据的能力,它会自动给一行中的每个数据元素分配一个变量。
    默认情况下,awk 会将如下变量分配给它在文本行中发现的数据字段:

    • $0 代表整个文本行;
    • $1 代表文本行中的第 1 个数据字段;
    • $2 代表文本行中的第 2 个数据字段;
    • $n 代表文本行中的第 n 个数据字段。

    前面说过,在 awk 中,默认的字段分隔符是任意的空白字符(例如空格或制表符)。在文本行中,每个数据字段都是通过字段分隔符划分的。awk 在读取一行文本时,会用预定义的字段分隔符划分每个数据字段。
    所以在下面的例子中,awk 程序读取文本文件,只显示第 1 个数据字段的值:

    [root@localhost ~]# cat data2.txt
    One line of test text.
    Two lines of test text.
    Three lines of test text.
    [root@localhost ~]# awk '{print $1}' data2.txt
    One
    Two
    Three

    该程序用 $1 字段变量来表示“仅显示每行文本的第 1 个数据字段”。当然,如果你要读取采用了其他字段分隔符的文件,可以用 -F 选项手动指定。

    awk 脚本命令使用多个命令

    awk 允许将多条命令组合成一个正常的程序。要在命令行上的程序脚本中使用多条命令,只要在命令之间放个分号即可,例如:

    [root@localhost ~]# echo "My name is Rich" | awk '{$4="Christine"; print $0}'
    My name is Christine

    第一条命令会给字段变量 $4 赋值。第二条命令会打印整个数据字段。可以看到,awk 程序在输出中已经将原文本中的第四个数据字段替换成了新值。

    awk从文件中读取程序

    awk 允许将脚本命令存储到文件中,然后再在命令行中引用,比如:

    [root@localhost ~]# cat awk.sh
    {print $1 "'s home directory is " $6}
    [root@localhost ~]# awk -F: -f awk.sh /etc/passwd
    root's home directory is /root
    bin's home directory is /bin
    daemon's home directory is /sbin
    adm's home directory is /var/adm
    lp's home directory is /var/spool/lpd
    ...
    Christine's home directory is /home/Christine
    Samantha's home directory is /home/Samantha
    Timothy's home directory is /home/Timothy

    awk.sh 脚本文件会使用 print 命令打印 /etc/passwd 文件的主目录数据字段(字段变量 $6),以及 userid 数据字段(字段变量 $1)。注意,在程序文件中,也可以指定多条命令,只要一条命令放一行即可,之间不需要用分号。

    awk BEGIN关键字

    awk 中还可以指定脚本命令的运行时机。默认情况下,awk 会从输入中读取一行文本,然后针对该行的数据执行程序脚本,但有时可能需要在处理数据前运行一些脚本命令,这就需要使用 BEGIN 关键字。
    BEGIN 会强制 awk 在读取数据前执行该关键字后指定的脚本命令,例如:

    [root@localhost ~]# cat data3.txt
    Line 1
    Line 2
    Line 3
    [root@localhost ~]# awk 'BEGIN {print "The data3 File Contents:"}
    > {print $0}' data3.txt
    The data3 File Contents:
    Line 1
    Line 2
    Line 3

    可以看到,这里的脚本命令中分为 2 部分,BEGIN 部分的脚本指令会在 awk 命令处理数据前运行,而真正用来处理数据的是第二段脚本命令。

    awk END关键字

    和 BEGIN 关键字相对应,END 关键字允许我们指定一些脚本命令,awk 会在读完数据后执行它们,例如:

    [root@localhost ~]# awk 'BEGIN {print "The data3 File Contents:"}
    > {print $0}
    > END {print "End of File"}' data3.txt
    The data3 File Contents:
    Line 1
    Line 2
    Line 3
    End of File
  • 相关阅读:
    搭建Hadoop2.6.0+Spark1.1.0集群环境
    分别用Eclipse和IDEA搭建Scala+Spark开发环境
    poj 2586 Y2K Accounting Bug【贪心】【刷题计划】
    poj2109 Power of Cryptography【坑~泪目】【水过】【刷题计划】
    例题6.1 铁轨【算法入门经典】
    第三章 队列【数据结构】【链队列】【循环队列】
    poj 1328 Radar Installation【贪心】【刷题计划】
    hdu 2364 Escape【模拟优先队列】【bfs】
    poj 2965 The Pilots Brothers' refrigerator 【dfs+枚举】【双十一大礼包】
    6.3.3 二叉树重建【算法入门经典】【双十一大礼包】
  • 原文地址:https://www.cnblogs.com/zhuzhaoli/p/12102086.html
Copyright © 2020-2023  润新知