• 三剑客awk


    内容:

    #1.awk命令介绍
    
    #2.awk使用数据字段变量
    
    #3.awk脚本命令使用多个命令
    
    #4.awk从文件中读取程序
    
    #5.awk BEGIN关键字
    
    #6.awk END关键字
    
    #7.awk内置变量
    
    #8.awk内置字符串函数
    
    #9.printf函数的使用
    
    #10.awk的一些其他用法
      10.1 给变量赋值
      10.2 只列出文件名
      10.3 awk数组
      10.4 awk正则
    
    #11.if条件语句
    
    #12.循环语句
      12.1 while循环语句
      12.2 for循环语句
      12.3 do...while循环语句
    
    #13.awk使用实例
      13.1 函数的简单使用
      13.2 统计系统中的secure文件中谁在破解你的密码
      13.3 统计secure文件中每个用户,被同一ip破解多少次
      13.4 统计nginx access.log文件中对ip地址去重并统计重复数
      13.5 统计access.log文件中每个ip地址使用了多少流量
      13.6 统计access.log文件中每个ip地址使用了多少流量和每个ip地址的出现次数
      13.7 按要求得到最后面的格式的结果
      13.8 统计每个学生的总成绩和平均成绩
      13.9 打印下面语句中字符数小于6的单词
    
    #14.搬运学习原博客 | 及补充博客链接
    

    #1.awk命令介绍

    除了使用 sed 命令,Linux 系统中还有一个功能更加强大的文本数据处理工具,就是 awk。它诞生于 20 世纪 70 年代末期,这也许是它影响了众多 Linux 用户的原因之一。曾有人推测 awk 命令的名字来源于 awkward 这个单词。其实不然,此命令的设计者有 3 位,他们的姓分别是 Aho、Weingberger 和 Kernighan,awk 就取自这 3 为大师姓的首字母。awk的最基本功能是在文件或字符串中基于指定规则浏览和抽取信息,awk抽取信息后,才能进行其他文本操作,完整的awk脚本通常用来格式化文本文件中的信息。awk和 sed 命令类似,awk 命令也是逐行扫描文件(从第 1 行到最后一行),寻找含有目标文本的行,如果匹配成功,则会在该行上执行用户想要的操作;反之,则不对行做任何处理。

    awk 命令的基本格式为:
    awk [选项] '脚本命令' 文件名
    

    awk 的强大之处在于脚本命令,它由 2 部分组成,分别为匹配规则和执行命令,如下所示:

    '匹配规则{执行命令}'
    

    这里的匹配规则,和 sed 命令中的 address 部分作用相同,用来指定脚本命令可以作用到文本内容中的具体行,可以使用字符串(比如 /test/,表示查看含有 test 字符串的行)或者正则表达式指定。另外需要注意的是,整个脚本命令是用单引号('')括起,而其中的执行命令部分需要用大括号({})括起来。在 awk 程序执行时,如果没有指定执行命令,则默认会把匹配的行输出;如果不指定匹配规则,则默认匹配文本中所有的行。


    举个简单的例子:

    [root@mytest001 202204]#awk '/^$/ {print "Blank line"}' test.txt
    

    在此命令中,/^$/ 是一个正则表达式,功能是匹配文本中的空白行,同时可以看到,执行命令使用的是 print 命令,此命令会经常使用,它的作用很简单,就是将指定的文本进行输出。因此,整个命令的功能是,如果 test.txt 有 N 个空白行,那么执行此命令会输出 N 个 Blank line。再次说明, awk 对输入文件中的每一行都执行这个脚本。


    #2.awk使用数据字段变量

    awk的主要特性之一是处理文本文件中数据的能力,它会自动给每一行中的每个数据元素分配一个变量。

    默认情况下,awk 会将如下变量分配给它在文本行中发现的数据字段(或者叫做域):

    $0 代表整个文本行;
    $1 代表文本行中的第 1 个数据字段(域);
    $2 代表文本行中的第 2 个数据字段(域);
    $n 代表文本行中的第 n 个数据字段(域)。
    

    to be continued...

  • 相关阅读:
    Python-内置数据结构listdictset
    Python-内置结构listsetdicttuple
    Python-内置数据结构
    Python-函数作用域和集合列表字典元祖
    Python-函数参数和文档
    Python-while循环+函数
    Python-分支循环
    Python基础
    五、Jmeter-数据库数据进行参数化
    mysql索引:四种类型,两种方法
  • 原文地址:https://www.cnblogs.com/yachengmuCC/p/16211562.html
Copyright © 2020-2023  润新知