• Linux 文本处理三剑客应用


    Linux 系统中文本处理有多种不同的方式,系统为我们提供了三个实用命令,来实现对行列的依次处理功能,grep命令文本过滤工具,cut列提取工具,sed文本编辑工具,以及awk文本报告生成工具,利用这三个工具可以灵活的过滤截取任何系统文本内容。

    Grep 文本过滤工具

    grep 是一种强大的文本搜索工具,它能使用正则表达式搜索文本,并把匹配的行打印出来,在Linux系统中是最常用的行匹配提取工具.

    [root@localhost ~]# grep --help
    
    命令语法:[ grep [选项] [过滤菜单] 文件名 ]
    
            -a              #将二进制数据一同列出
            -c              #计算找到查找字符串的次数
            -i              #忽略大小写差异
            -n              #标号显示
            -v              #反选参数
            -q              #不显示任何提示信息,安静模式
            -E              #使用扩展正则,egrep
            -A              #匹配指定字符的后n个字符
            -B              #匹配指定字符的前n个字符
            -C              #匹配指定字符的前n个和后n个字符
    

    匹配任意多次字符: 使用*实现匹配前一个字符出现0次或任意多次(本例则是匹配g字符出现0次或任意多次)

    [root@localhost ~]# ls
    blog  bloog  blooog
    
    [root@localhost ~]# ls | grep -o "blo*g"
    blog
    bloog
    blooog
    

    匹配任意一个字符: 使用.实现匹配除换行符以外的任意一个字符,(只匹配一个字符),一般我们把这种匹配模式叫做贪婪匹配

    [root@localhost ~]# ls
    blog  bloog  blooog
    
    [root@localhost ~]# ls | grep -o "blo.g"
    bloog
    [root@localhost ~]# ls | grep -o "blo..g"
    blooog
    

    匹配行首行尾字符: 使用^匹配行首是指定字符的文本,相反使用$匹配行尾是指定字符的文本

    [root@localhost ~]# ls
    alert  lyshark  tcpl  wakaka  wang  wangg  wanggg  woxin
    
    [root@localhost ~]# ls | grep "^ly"
    lyshark
    [root@localhost ~]# ls | grep "^a"
    alert
    [root@localhost ~]# ls | grep "a$"
    wakaka
    [root@localhost ~]# ls | grep "ark$"
    lyshark
    [root@localhost ~]# ls | grep "^w" | grep "n$"
    woxin
    

    匹配括号范围以内字符: 使用[]匹配中括号内任意一个字符,只匹配其中一个

    [root@localhost ~]# ls
    ale1t  ale2t  ale3t  aleat  alebt  alert
    
    [root@localhost ~]# ls | grep "ale[a-z]t"
    aleat
    alebt
    alert
    [root@localhost ~]# ls | grep "ale[0-9]t"
    ale1t
    ale2t
    ale3t
    [root@localhost ~]# ls | grep "ale[ab]t"
    aleat
    alebt
    

    匹配括号范围以外字符: 使用[^]匹配除了中括号字符以外的任意一个字符,符号^取反的意思.

    [root@localhost ~]# ls
    ale1t  ale2t  ale3t  aleat  aleAt  aleBB  alebt  aleCT  aleEt  alert
    
    [root@localhost ~]# ls | grep "ale[^0-9]t"
    aleat
    aleAt
    alebt
    aleEt
    alert
    [root@localhost ~]# ls | grep "ale[^A-Z]t"
    ale1t
    ale2t
    ale3t
    aleat
    alebt
    alert
    [root@localhost ~]# ls | grep "ale[^AE]t"
    ale1t
    ale2t
    ale3t
    aleat
    alebt
    alert
    

    匹配行首某字符: 使用^[^]匹配行首是与不是指定字符的行,匹配行首是否是或不是某一个字符的记录.

    [root@localhost ~]# ls
    ale1t  ale2t lyshark  tcpl  wakaka  wang  wangg  wanggg  woxin
    
    [root@localhost ~]# ls | grep ^[a]        #匹配行首是a开头
    ale1t
    ale2t
    [root@localhost ~]# ls | grep ^[^a]       #匹配行首不是a开头
    lyshark
    tcpl
    wakaka
    wang
    wangg
    wanggg
    woxin
    [root@localhost ~]# ls | grep -n "^[^a-zA-Z]" #匹配开头不是a-z,A-Z的行
    8:123123
    9:1233
    10:66431
    11:124adb
    

    匹配恰好出现次数行: 使用\{n}\匹配前面的字符恰好出现了n次的行

    [root@localhost ~]# ls
    12333  13466614578  13562653874  172.168.1.2  18264758942  192.168.1.1  45666  78999
    
    [root@localhost ~]# ls | grep -o "123\{3\}"
    12333
    [root@localhost ~]# ls | grep "[0-9][0-9][0-9]\{3\}"     #匹配前两个字符是0-9的,最后一个字符出现过3次的
    12333
    45666
    78999
    [root@localhost ~]# ls | grep "[1][3-8][0-9]\{9\}"       #匹配手机号规则
    13466614578
    13562653874
    18264758942
    

    匹配不小于出现次数行: 使用\{n,}\匹配前面字符出现,不小于n次的行

    [root@localhost ~]# ls
    12333  123333  1233333
    
    [root@localhost ~]# ls | grep "123\{3,\}"               #前一个字符3的出现不小于3次
    12333
    123333
    1233333
    [root@localhost ~]# ls | grep "123\{4,\}"               #前一个字符3的出现不小于4次
    123333
    1233333
    

    匹配不小于且不大于次数行: 使用\{n,m}\匹配前面的字符出现,不小于n次,最多出现m次的行

    [root@localhost ~]# ls
    123  1233  12333  123333  1233333  12333333  123333333  1233333333  12333333333
    
    [root@localhost ~]# ls |grep "123\{3,5\}"              #前一个字符3最少出现3次,最多不大于5次
    12333
    123333
    1233333
    

    匹配出现1次或任意多次的行: 使用+匹配前一个字符出现1次或任意多次的行

    [root@localhost ~]# ls
    gogle  google  gooogle  gooogooogle  goooogle  gooooogle  goooooogle
    
    [root@localhost ~]# ls | grep -E "go+gle"
    gogle
    google
    gooogle
    goooogle
    gooooogle
    goooooogle
    

    匹配出现0次或1次的行: 使用?匹配前一个字符出现过0次或1次,最少0次,最多1次.

    [root@localhost ~]# ls
    gogle  google  gooogle  gooogooogle  goooogle  gooooogle  goooooogle
    
    [root@localhost ~]# ls | grep -E "go?gle"
    gogle
    [root@localhost ~]# ls | grep -E "goo?gle"
    gogle
    google
    

    匹配分支选择行: 使用|匹配两个或多个分支选择,从特定分支内选择不同的关键词匹配查询

    [root@localhost ~]# ls
    alert  lyshark  rui  wang
    
    [root@localhost ~]# ls | grep -E "alert|lyshark"
    alert
    lyshark
    [root@localhost ~]# ls | grep -E "wang|rui|alert"
    alert
    rui
    wang
    

    匹配模式单元行: 使用()将字符作为一个整体匹配,即模式单元匹配

    [root@localhost ~]# ls
    dog  dogdog  dogdogdog  hello_lyshark  hello_world
    
    [root@localhost ~]# ls | grep -E "(dog)+"
    dog
    dogdog
    dogdogdog
    [root@localhost ~]# ls | grep -E "hello_(world|lyshark)"
    hello_lyshark
    hello_world
    

    匹配日期与时间行: 使用正则匹配文本中的日期与时间

    # 匹配24小时时间
    [root@localhost ~]# cat | grep -E "^[0-23]{2}:[0-59]{2}:[0-59]{2}"
    12:00:00
    13:55:00
    01:11:22
    
    # 匹配12小时时间
    [root@localhost ~]# cat | grep -E "^[0-12]{2}:[0-59]{2}:[0-59]{2}"
    12:00:00
    01:11:22
    
    # 匹配年月日
    [root@localhost ~]# cat | grep -E "^([0-9]{4})-([0-12]{2})-([0-31]{2})"
    2019-10-10
    2014-01-01
    
    # 匹配并输出/var/log/secure特殊时间格式
    [root@localhost ~]# cat | grep -o -E "^(Jan|Feb|Mar|Apr|May|Jun|Jul|Aug|Sept|Oct|Nov|Dec) ([0-9]{2})"
    Jan 16
    Nov 17
    

    过滤空白行与注释行: 过滤掉开头是#号的,和开头是空行的行,实现去掉注释与空白行

    [root@localhost ~]# cat lyshark.log | grep -v "^#" | grep -v "^$"
    ADMIN
    Good
    123123
    1233.
    66431.
    

    匹配开头结尾的行: 匹配开头是0-9且结尾是点的行

    [root@localhost ~]# cat lyshark.log |grep -n -E "^[0-9]+\."
    9:1233.
    10:66431.
    

    匹配IP/MAC相关地址行: 正则匹配IP地址,与匹配MAC地址

    # 匹配IPV4地址
    [root@localhost ~]# ifconfig | egrep -o "(([1-9]|[1-9][0-9]|1[0-9][0-9]|2[0-4][0-9]|25[0-5])\.){3}([0-9]|[1-9][0-9]|1[0-9][0-9]|2[0-4][0-9]|25[0-4])"
    192.168.150.128
    255.255.255.0
    192.168.150.25
    
    # 匹配IPV6地址
    [root@localhost ~]# ifconfig | egrep -o "[a-f0-9]{1,4}(:[a-f0-9]{1,4}){7}|[a-f0-9]{1,4}(:[a-f0-9]{1,4}){0,7}::[a-f0-9]{0,4}(:[a-f0-9]{1,4}){0,7}"
    fe80::d5d5:6d6d:3e86:c3e1
    
    # 匹配MAC地址
    [root@localhost ~]# ifconfig | egrep -o "([0-9]|[a-z]){2,2}:([0-9]|[a-z]){2,2}:([0-9]|[a-z]){2,2}:([0-9]|[a-z]){2,2}:([0-9]|[a-z]){2,2}:([0-9]|[a-z]){2,2}"
    00:0c:29:72:77:7f
    
    # 匹配邮箱(测试)
    [root@localhost ~]# egrep -o "^[0-9a-zA-Z][0-9a-zA-Z_]{1,16}[0-9a-zA-Z]\@[0-9a-zA-Z-]*([0-9a-zA-Z])?\.(com|com.cn|net|org|cn)$"
    

    Cut 列提取工具

    cut命令用来显示行中的指定部分,删除文件中指定字段,cut经常用来显示文件的内容,类似于type命令.该命令显示文件的内容,它依次读取由参数file所指明的文件,将它们的内容输出到标准输出上.

    [root@localhost ~]# cut --help
    
    命令语法:[ cut [选项] [列号] 文件名 ]
    
            -f              #-f 列号:指定提取第几列
            -d              #-d 分隔符:按照指定分隔符进行分割
            -c              #-c 字符范围:不依赖分割符来分割,而是通过字符范围进行字段提取
            -m              #表示从第一个字符提取到第m个
            -b              #仅显示行中指定直接范围的内容
            -n              #与"-b"选项连用,不分割多字节字符
            n-              #表示从第n个字符开始提取到结尾
            n-m             #表示从第n提取到第m个字符
    
            --complement    #补齐被选择的字节,字符或字段
            --out-delimiter=<字段分隔符> #指定输出内容是的字段分割符
    

    手动创建一个文本,添加内容列之间用tab分隔,用来测试后续内容

    [root@localhost ~]# cat lyshark.log
    ID      NAME    AGE     Gender  Mark
    1       WR      22      m       100
    2       LC      26      m       90
    3       LY      23      m       88
    

    通过使用 -f 选项指定过滤的列,并显示到屏幕

    [root@localhost ~]# cut -f 2 lyshark.log
    NAME
    WR
    LC
    LY
    [root@localhost ~]# cut -f 2,5 lyshark.log
    NAME    Mark
    WR      100
    LC      90
    LY      88
    

    通过使用 --complement 选项提取指定字段之外的列,(打印除了第2列之外的列)

    [root@localhost ~]# cut -f 2 --complement lyshark.log
    
    ID      AGE     Gender  Mark
    1       22      m       100
    2       26      m       90
    3       23      m       88
    

    通过使用 -c 选项过滤/etc/passwd,并打印第1个到第3个字符

    [root@localhost ~]# cut -c 1-3 /etc/passwd
    roo
    bin
    dae
    

    通过使用 -c -2 选项过滤/etc/passwd,并打印前2个字符

    [root@localhost ~]# cut -c -2 /etc/passwd
    ro
    bi
    da
    

    通过使用 -c 5- 选项过滤/etc/passwd,打印从第5个字符开始到结尾

    [root@localhost ~]# cut -c 5- /etc/passwd
    :x:0:0:root:/root:/bin/bash
    x:1:1:bin:/bin:/sbin/nologin
    

    通过使用 -d 指定分隔符 -f 指定打印第个字段,以下我们分别截取第1和第7个字段

    [root@localhost ~]# cut -d ":" -f 1,7 /etc/passwd
    root:/bin/bash
    bin:/sbin/nologin
    daemon:/sbin/nologin
    

    通过使用 -c -3 指定截取前3个字符,还可以通过 -c 3 截取第3个字符

    [root@localhost ~]# cut -c -3 /etc/passwd
    roo
    bin
    dae
    [root@localhost ~]# cut -c 3 /etc/passwd
    o
    n
    e
    

    Sed 文本流编辑器

    sed是一种流编辑器,它是文本处理中非常中的工具,能够完美的配合正则表达式使用,sed主要是来进行数据选取,替换,删除,新增的命令.

    [root@localhost ~]# sed --help
    
    命令语法:[ sed [选项] [范围] [动作] 文件名 ]
            -n              #把经过sed命令处理的行输出到屏幕
            -e              #允许对输入数据应用多条sed命令编辑
            -f              #从sed脚本中读入sed操作,和awk命令的-f类似
            -r              #在sed中支持扩展正则表达式
            -i              #用sed的修改结果,写到文件
    
    命令动作:
            p               #打印,输出指定的行
            a               #追加,在当前行后添加一行或多行
            i               #插入,在当前行前插入一行或多行
            c               #整行替换,用c后面的字符串替换原数据行
            d               #删除,删除指定的行
            s               #字串替换,格式:"行范围s/旧字串/新字串/g"
    
    #对sed命令我们要知道的是,它所有的修改都不会直接修改文件的内容,而是在内存中进行处理然后打印到屏幕上
    #如果想要写入文件,请使用 sed -i 选项才会保存到文本中.
    

    在进行实验之前,首先创建一个文件,来做测试用

    [root@localhost ~]# cat lyshark.log
    
    ID      NAME    AGE     Gender  Mark
    1       WR      22      m       100
    2       LC      26      m       90
    3       LY      23      m       88
    4       XDL     40      b       100
    

    使用 sed '2p' 重复打印第二行数据

    [root@localhost ~]# sed '2p' lyshark.log
    ID      NAME    AGE     Gender  Mark
    1       WR      22      m       100
    1       WR      22      m       100    ←本行是2p打印的
    2       LC      26      m       90
    3       LY      23      m       88
    4       XDL     40      b       100
    
    [root@localhost ~]# sed '3p' lyshark.log
    ID      NAME    AGE     Gender  Mark
    1       WR      22      m       100
    2       LC      26      m       90
    2       LC      26      m       90     ←本行是2p打印的
    3       LY      23      m       88
    4       XDL     40      b       100
    

    使用 sed -n 限定,只选取指定的行进行显示

    [root@localhost ~]# sed -n '2p' lyshark.log  ←只打印第2行数据
    1       WR      22      m       100
    
    [root@localhost ~]# sed -n '1p' lyshark.log  ←只打印第1行数据
    ID      NAME    AGE     Gender  Mark
    

    使用 sed '2,4d' 删除掉文件2-4行,并显示到屏幕,(原文件内容并没有被修改)

    [root@localhost ~]# sed '2,4d' lyshark.log   ←删除2-4行的数据并打印
    ID      NAME    AGE     Gender  Mark
    4       XDL     40      b       100
    
    [root@localhost ~]# sed '1d' lyshark.log     ←删除第1行的数据
    1       WR      22      m       100
    2       LC      26      m       90
    3       LY      23      m       88
    4       XDL     40      b       100
    

    使用 sed '2[a|i]' 追加,或者插入数据指定数据

    [root@localhost ~]# sed '2a hello lyshark' lyshark.log      ←在第2行后面追加数据
    ID      NAME    AGE     Gender  Mark
    1       WR      22      m       100
    hello lyshark
    2       LC      26      m       90
    3       LY      23      m       88
    4       XDL     40      b       100
    
    [root@localhost ~]# sed '2i hello lyshark' lyshark.log      ←在第2行前面插入数据
    ID      NAME    AGE     Gender  Mark
    hello lyshark
    1       WR      22      m       100
    2       LC      26      m       90
    3       LY      23      m       88
    4       XDL     40      b       100
    

    使用 \ 换行符,一次插入多行数据

    [root@localhost ~]# sed '2a hello \    ←在第二行下面,插入一段话,用\隔开
    > my name is lyshark \
    > age 22 \
    > boy ' lyshark.log
    
    ID      NAME    AGE     Gender  Mark
    1       WR      22      m       100
    hello
    my name is lyshark
    age 22
    boy
    2       LC      26      m       90
    3       LY      23      m       88
    4       XDL     40      b       100
    

    使用 sed 'c' 实现整行替换数据

    [root@localhost ~]# cat lyshark.log | sed '5c 5    WRS    99    m    111'  ←整行替换第5行内容
    ID      NAME    AGE     Gender  Mark
    1       WR      22      m       100
    2       LC      26      m       90
    3       LY      23      m       88
    5    WRS    99    m    111
    

    使用 sed 后面跟上 -i 选项,将第5行的修改,保存进文件,(-i选项是回写)

    [root@localhost ~]# sed  -i '5c 5     WRS    99    m    111' lyshark.log
    
    [root@localhost ~]# cat lyshark.log
    ID      NAME    AGE     Gender  Mark
    1       WR      22      m       100
    2       LC      26      m       90
    3       LY      23      m       88
    5       WRS    99    m    111               ←这里的数据已经写入成功
    

    字符串的替换 sed 's/旧文本/新文本/g' 进行整行替换

    [root@localhost ~]# sed '2s/WR/LyShark/g' lyshark.log   ←将第2行的,WR替换成LyShark
    ID      NAME    AGE     Gender  Mark
    1       LyShark 22      m       100
    2       LC      26      m       90
    3       LY      23      m       88
    5       WRS     99      m       111
    
    [root@localhost ~]# sed '3s/LC/Admin/g' lyshark.log     ←将第3行的,LC替换成Admin
    ID      NAME    AGE     Gender  Mark
    1       WR      22      m       100
    2       Admin   26      m       90
    3       LY      23      m       88
    5     WRS    99    m    111
    
    #注意:上方只是替换打印,并没有保存,如若想保存请加 -i 属性
    

    将第3行数据的开头添加#注释

    [root@localhost ~]# sed '3s/^/#/g' lyshark.log
    ID      NAME    AGE     Gender  Mark
    1       WR      22      m       100
    #2      LC      26      m       90
    3       LY      23      m       88
    5       WRS     99      m       111
    

    将第4和第5行的内容替换成空

    [root@localhost ~]# sed -e '4s/LY//g ; 5s/WRS//g' lyshark.log
    ID      NAME    AGE     Gender  Mark
    1       WR      22      m       100
    2       LC      26      m       90
    3               23      m       88
    5               99      m       111
    
    #sed 要进行多行操作时,只能通过 -e 写多条操作语句,用 ; 或回车分隔
    

    通过使用grep命令定位到指定行,然后使用sed替换无用字符串,最后实现IP地址的过滤.

    [root@localhost ~]# ifconfig | grep "inet 192" |sed 's/^.*inet //g'
    192.168.1.10  netmask 255.255.255.0  broadcast 192.168.1.255
    
    [root@localhost ~]# ifconfig |grep "inet 192" |sed 's/^.*inet //g' |sed 's/ netmask.*$//g'
    192.168.1.10
    
    [root@localhost ~]# ifconfig | grep "inet6" | head -n 1 | sed 's/^.*inet6 //g' | sed 's/ prefixlen.*$//g'
    fe80::db97:e754:b016:1686
    
    [root@localhost ~]# ifconfig | grep "RX packets" | head -n 1 | sed 's/^.*ets //g' | sed 's/ bytes.*$//g'
    97265
    

    Awk 文本报告生成器

    awk是一种编程语言,用于在Linux下对文本和数据进行处理,数据可以来自标准输入(stdin),一个或多个文件,或其它命令的输出,它支持用户自定义函数和动态正则表达式等先进功能,此处我们只需要了解一些基础即可.

    [root@localhost ~]# awk --help
    
    命令语法:[ awk '条件1{动作1} 条件2{动作2} ....' 文件名 ]
    
    条件:一般使用关系表达式作为条件
                    x>10    判断x变量是否大于10
                    x==y    判断变量x是否等于变量y
                    A ~ B   判断字符串A中是否包含能匹配B表达式的字符串
                    A!~ B   判断字符串A中是否不包含能匹配B表达式的字符串
    

    在进行实验之前,首先创建lyshark.log测试文件,后续使用该文件练习过滤.

    [root@localhost ~]# cat lyshark.log
    
    ID      NAME    AGE     Gender  Mark
    1       WR      22      m       100
    2       LC      26      m       90
    3       LY      23      m       88
    4       XDL     40      b       100
    

    简单使用,awk格式化输出文本的第二列和第三列的内容.

    [root@localhost ~]# awk '{ printf $2 "\t" $3 "\n" }' lyshark.log
    NAME    AGE
    WR      22
    LC      26
    LY      23
    XDL     40
    

    指定分隔符,通过使用-F参数可以用于指定一个分隔符.

    [root@localhost ~]# awk -F ":" '{printf $1 "\t" $6 "\n"}' /etc/passwd
    root    /root
    bin /bin
    daemon  /sbin
    adm /var/adm
    

    Bengin/End关键字: BEGIN的执行时机是在awk程序开始过滤之前执行,BEGIN定义的动作只能被执行一次.

    [root@localhost ~]# awk 'BEGIN{ printf "执行语句前,执行我 \n" }{ printf $2 "\t" $4 "\n" }' lyshark.log
    执行语句前,执行我
    NAME    Gender
    WR      m
    LC      m
    LY      m
    XDL     b
    

    至于END则刚好和BEGIN相反,END是在awk程序处理完所有数据,即将结束时执行,END后的动作只在程序结束时执行一次.

    [root@localhost ~]# awk 'END{ printf "执行语句结束后,执行我 \n" }{ printf $2 "\t" $4 "\n" }' lyshark.log
    NAME    Gender
    WR      m
    LC      m
    LY      m
    XDL     b
    执行语句结束后,执行我
    

    当然了BEGIN与END是可以连用的,以下例子也就是实现了连用的效果.

    [root@ ~]# awk 'BEGIN{ printf "执行语句前,先执行我 \n" }END{ printf "执行语句后,在执行我 \n"}{ printf $2 "\t" $4 "\n" }' lyshark.log
    
    执行语句前,先执行我
    NAME    Gender
    WR      m
    LC      m
    LY      m
    XDL     b
    执行语句后,在执行我
    

    关系运算符: 设定条件,符合执行不符合不执行,下面设定条件为AGE字段>=25岁的列出

    [root@localhost ~]# cat lyshark.log | grep -v ID | awk '$3 >=25 {print $1 "\t" $2}'
    2       LC
    4       XDL
    
    [root@localhost ~]# cat lyshark.log |grep -v ID | awk '$2 == "XDL" {print $0}'
    4       XDL     40      b       100
    

    awk正则匹配: awk是列提取命令,其每次读入一行,并进行判断,重复赋值变量,并打印数据.

    指定搜索:正则搜索第2列NAME字段,包含XDL的行,并打印出AGE列对应的值.

    [root@localhost ~]# cat lyshark.log
    ID      NAME    AGE     Gender  Mark
    1       WR      22      m       100
    2       LC      26      m       90
    3       LY      23      m       88
    4       XDL     40      b       100
    
    [root@localhost ~]# awk '$2 ~/XDL/ {printf $3 "\n"}' lyshark.log
    40
    

    全局搜索:正则全局搜索包含WR的字段行,并打印本行$0全部数据.

    [root@localhost ~]# cat lyshark.log
    ID      NAME    AGE     Gender  Mark
    1       WR      22      m       100
    2       LC      26      m       90
    3       LY      23      m       88
    4       XDL     40      b       100
    
    [root@localhost ~]# cat lyshark.log | awk '/WR/ {printf $0 "\n"}'
    1       WR      22      m       100
    

    正则查找相应行:正则全局查找满足开头范围是[0-2]的行,并打印出全部数据.

    [root@localhost ~]# cat lyshark.log
    ID      NAME    AGE     Gender  Mark
    1       WR      22      m       100
    2       LC      26      m       90
    3       LY      23      m       88
    4       XDL     40      b       100
    
    [root@localhost ~]# cat lyshark.log | awk '/^[0-2]/ {print $0}'
    1       WR      22      m       100
    2       LC      26      m       90
    

    awk内置变量: 接下来将来看几个比较重要的内置变量的使用,以及简单实现判断功能

    通过内置变量 FS=":" 定义分隔符,打印/etc/passwd文件的第1列和第7列

    [root@localhost ~]# cat /etc/passwd |grep "/bin/bash" | awk '{print $0}'
    root:x:0:0:root:/root:/bin/bash
    
    [root@localhost ~]# cat /etc/passwd |grep "/bin/bash" | awk 'BEGIN {FS=":"} {printf $1 "\t" $7 "\n"}'
    root    /bin/bash
    

    打印行内容的同时,打印出行号(NR变量),和本行的字段数(NF变量)

    [root@localhost ~]# cat /etc/passwd |grep "/bin/bash" | awk 'BEGIN {FS=":"} {print $1 "\t" "行号:" NR "\t"}'
    root    行号:1
    
    [root@localhost ~]# cat /etc/passwd |grep "/bin/bash" | awk 'BEGIN {FS=":"} {print $1 "\t" "字段数:" NF "\t"}'
    root    字段数:7
    
    [root@localhost ~]# cat /etc/passwd  | awk 'BEGIN {FS=":"} {print $1 "\t" "记录数:" FNR "\t"}'
    root    记录数:1   
    bin 记录数:2   
    daemon  记录数:3
    

    打印内容的同时,首先判断 $1==sshd 然后再打印本行的行号等信息

    [root@localhost ~]#  cat /etc/passwd | awk 'BEGIN{FS=":"}$1=="sshd" {print $0}'
    sshd:x:74:74:Privilege-separated SSH:/var/empty/sshd:/sbin/nologin
    

    简单判断功能:将第2行,到第4行,的内容加起来,最后输出结果相加的结果

    [root@localhost ~]# cat lyshark.log
    ID      NAME    AGE     SEX     LINUX
    1       LY      18      boy     100
    2       SC      30      man     150
    3       WR      22      man     90
    4       ZSX     55      boy     96
    
    [root@localhost ~]# awk 'NR==2{x=$3} NR==3{y=$3} NR==4{z=$3} {totle=x+y+z;print "Totle is:" totle}' lyshark.log
    Totle is:0
    Totle is:18
    Totle is:48
    Totle is:70
    Totle is:70
    
    [root@localhost ~]# awk 'NR==2{x=$3} NR==3{y=$3} NR==4{z=$3;totle=x+y+z;print "Totle is:" totle}' lyshark.log
    Totle is:70
    

    简单判断功能:统计AGE列,将年龄小于25岁的任过滤出来,并显示 is young man!

    [root@localhost ~]# cat lyshark.log
    ID      NAME    AGE     SEX     LINUX
    1       LY      18      boy     10
    2       SC      30      man     50
    3       WR      22      man     90
    4       ZSX     55      boy     96
    
    [root@localhost ~]# cat lyshark.log | awk '{if (NR >= 2){if ($3 < 25) printf $2 " IS Young Man! \n"}}'
    LY IS Young Man!
    WR IS Young Man!
    

    简单判断功能:统计LINUX列,当出现大于80分的,打印到屏幕上 is good man!

    [root@localhost ~]# cat lyshark.log
    ID      NAME    AGE     SEX     LINUX
    1       LY      18      boy     10
    2       SC      30      man     50
    3       WR      22      man     90
    4       ZSX     55      boy     96
    
    [root@localhost ~]# cat lyshark.log | awk 'NR>=2 {temp=$5} temp>80 {printf $2 "IS Good Man!\n"}'
    WRIS Good Man!
    ZSXIS Good Man!
    
  • 相关阅读:
    bzoj 1821: [JSOI2010]Group 部落划分 Group
    codevs 1217 借教室
    洛谷 P2678 跳石头
    洛谷 P1316 丢瓶盖
    洛谷 P2683 小岛
    洛谷 P2431 正妹吃月饼
    loj #6092. 「Codeforces Round #418」恋爱循环
    loj #6091. 「Codeforces Round #418」幻想特快
    loj #6090. 「Codeforces Round #418」尘封思绪
    前端移植说明
  • 原文地址:https://www.cnblogs.com/LyShark/p/12150328.html
Copyright © 2020-2023  润新知