【Linux】linux中文本操作利器grep,awk,sed

grep命令

---

 grep（global search regular expression）是一种强大的文本搜索工具，它可以使用正则表达式搜索文本，并把匹配的行打印出来。平时搜索文本中内容的时候是非常方便的。

 格式：

 grep [option] pattern filename

 主要选项：

• -A<显示列数> 除了显示符合范本样式的那一行之外，并显示该行之后的内容。
• -o 只输出文件中匹配到的部分。
• -v 反转查找。
• -i 忽略字符大小写的差别。
• -E 使用扩展正则表达式。
• -c 计算匹配到的列数。
• -n 列出匹配到的行号。
• -s 不显示错误信息。

 案例：

  在passwd文件中找到包含root的行

[root@localhost rabbitmq-c]# grep root /etc/passwd
root:x:0:0:root:/root:/bin/bash
operator:x:11:0:operator:/root:/sbin/nologin

列出行号

[root@localhost rabbitmq-c]# grep -n root /etc/passwd
1:root:x:0:0:root:/root:/bin/bash
10:operator:x:11:0:operator:/root:/sbin/nologin

多个文件中搜索

[root@localhost rabbitmq-c]# grep -n root /etc/passwd /etc/shadow
/etc/passwd:1:root:x:0:0:root:/root:/bin/bash
/etc/passwd:10:operator:x:11:0:operator:/root:/sbin/nologin
/etc/shadow:1:root:$6$xlxl/3ch$XPvzGYnvC.jk5y7NvQcbNO/8RZ6pLCFvFi79ceS7fXbffKEHG1tfRw

s参数忽略错误提示

[root@localhost rabbitmq-c]# grep -ns root /etc/*
/etc/aliases:12:postmaster:     root
/etc/aliases:15:bin:            root
/etc/aliases:16:daemon:         root
/etc/aliases:17:adm:            root

统计匹配倒的行数

[root@localhost rabbitmq-c]# grep -nsc root /etc/passwd
2

大C参数匹配结果的前2行和后2行

[root@localhost rabbitmq-c]# grep -nsC 2  root /etc/passwd
1:root:x:0:0:root:/root:/bin/bash
2-bin:x:1:1:bin:/bin:/sbin/nologin
3-daemon:x:2:2:daemon:/sbin:/sbin/nologin
--
8-halt:x:7:0:halt:/sbin:/sbin/halt
9-mail:x:8:12:mail:/var/spool/mail:/sbin/nologin
10:operator:x:11:0:operator:/root:/sbin/nologin
11-games:x:12:100:games:/usr/games:/sbin/nologin
12-ftp:x:14:50:FTP User:/var/ftp:/sbin/nologin

 满足多个关键字

[root@localhost ~]# ls /usr/local/mysql/data/oa_2018/ | grep -E "yunwei_log|workflow_order"
workflow_order.ibd
yunwei_log.ibd

sed命令

---

linux中的sed是一种流处理编辑器，它是文本处理中非常中的工具。它可以对文本进行增加，删除，替换的处理。

       处理时需要一个文本或者管道输入，然后读取当前处理的行存储在模式空间（pattern space）也就是一个临时缓冲区中，接着用sed命令处理缓冲区中的内容，处理完成后，把缓冲区的内容送往屏幕。接着处理下一行，这样不断重复，直到文件末尾。文件本身的内容并没有改变，除非将结果重定向存储输出。

sed操作过程：

    sed有个文本选定的过程，就是用正则选定文本，选定了可以处理的行之后，才会正真的调用sed命令去操作。

sed命令格式：分两种

    命令行格式：

    sed [options] 'command' file(s) 

    脚本格式：

    sed [options] -f scriptfile file(s)

选项[options]：

　　-n或--quiet或——silent：仅显示script处理后的结果；

　　-e<script>或--expression=<script>：以选项中的指定的script来处理输入的文本文件；

命令(command)： 行定位（正则）+ sed命令。

       p  打印模板块的行。
       P (大写) 打印模板块的第一行。

sed用法实例

示例1. p参数打印文件

[root@localhost ~]# sed 'p' /etc/passwd
root:x:0:0:root:/root:/bin/bash
root:x:0:0:root:/root:/bin/bash
bin:x:1:1:bin:/bin:/sbin/nologin
bin:x:1:1:bin:/bin:/sbin/nologin
......

每一行都打印了两遍，因为sed命令原理是读入一行打印一行，这里加上p参数又打印了一行。

加上n参数就会打印相关的行，所以就不会显示重复的行。

[root@localhost ~]# sed -n 'p' /etc/passwd
root:x:0:0:root:/root:/bin/bash
bin:x:1:1:bin:/bin:/sbin/nologin
daemon:x:2:2:daemon:/sbin:/sbin/nologin
adm:x:3:4:adm:/var/adm:/sbin/nologin
.......

一般-p参数都会和n一起使用。

sed行定位（选择要处理的行，可以通过正则匹配）

     定位一行： x；（x代表行号）    /pattern/ （正则）

[root@localhost oa]# sed -n '5p' passwd
lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin

[root@localhost oa]# nl passwd | sed -n '5p'    也可以用nl命令打印出行号
     5  lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin

 通过正则打印包含关键字的行，下面就是打印包含mysql的行。

[root@localhost oa]# sed -n '/mysql/p' passwd
mysql:x:1001:1001::/home/mysql:/bin/bash

 定位几行：x,y； （x y都是行号，表示一个区间，x行到y行）      /pattern/,x； （正则表示法，x和y都可以用正则表示）

 打印5行到15行。

[root@localhost oa]# nl passwd | sed -n '5,15p'
     5  lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin
     6  sync:x:5:0:sync:/sbin:/bin/sync
     7  shutdown:x:6:0:shutdown:/sbin:/sbin/shutdown
     8  halt:x:7:0:halt:/sbin:/sbin/halt
     9  mail:x:8:12:mail:/var/spool/mail:/sbin/nologin
    10  operator:x:11:0:operator:/root:/sbin/nologin
    11  games:x:12:100:games:/usr/games:/sbin/nologin
    12  ftp:x:14:50:FTP User:/var/ftp:/sbin/nologin
    13  nobody:x:99:99:Nobody:/:/sbin/nologin
    14  avahi-autoipd:x:170:170:Avahi IPv4LL Stack:/var/lib/avahi-autoipd:/sbin/nologin
    15  dbus:x:81:81:System message bus:/:/sbin/nologin

 用正则来取范围

[root@localhost oa]# nl passwd | sed -n '/lp/,/dbus/p'
     5  lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin
     6  sync:x:5:0:sync:/sbin:/bin/sync
     7  shutdown:x:6:0:shutdown:/sbin:/sbin/shutdown
     8  halt:x:7:0:halt:/sbin:/sbin/halt
     9  mail:x:8:12:mail:/var/spool/mail:/sbin/nologin
    10  operator:x:11:0:operator:/root:/sbin/nologin
    11  games:x:12:100:games:/usr/games:/sbin/nologin
    12  ftp:x:14:50:FTP User:/var/ftp:/sbin/nologin
    13  nobody:x:99:99:Nobody:/:/sbin/nologin
    14  avahi-autoipd:x:170:170:Avahi IPv4LL Stack:/var/lib/avahi-autoipd:/sbin/nologin
    15  dbus:x:81:81:System message bus:/:/sbin/nologin

  取反操作，比如不显示5-15行

[root@localhost oa]# nl passwd | sed -n '5,15!p'
     1  root:x:0:0:root:/root:/bin/bash
     2  bin:x:1:1:bin:/bin:/sbin/nologin
     3  daemon:x:2:2:daemon:/sbin:/sbin/nologin
     4  adm:x:3:4:adm:/var/adm:/sbin/nologin               这里5到15行就没选择
    16  polkitd:x:999:998:User for polkitd:/:/sbin/nologin
    17  abrt:x:173:173::/etc/abrt:/sbin/nologin
    18  unbound:x:998:996:Unbound DNS resolver:/etc/unbound:/sbin/nologin
    19  usbmuxd:x:113:113:usbmuxd user:/:/sbin/nologin
        .........

 定位间隔几行：first ~ step （first代表起始行号，step代表间隔几行，步长是多少）。

[root@localhost oa]# nl passwd | sed -n '1~5p'    下面是从第一行开始每间隔5行输出一行
     1  root:x:0:0:root:/root:/bin/bash
     6  sync:x:5:0:sync:/sbin:/bin/sync
    11  games:x:12:100:games:/usr/games:/sbin/nologin
    16  polkitd:x:999:998:User for polkitd:/:/sbin/nologin
    21  apache:x:48:48:Apache:/usr/share/httpd:/sbin/nologin
    26  rpc:x:32:32:Rpcbind Daemon:/var/lib/rpcbind:/sbin/nologin
    31  rpcuser:x:29:29:RPC Service User:/var/lib/nfs:/sbin/nologin
    36  gnome-initial-setup:x:992:990::/run/gnome-initial-setup/:/sbin/nologin
    41  oprofile:x:16:16:Special user account to be used by OProfile:/var/lib/oprofile:/sbin/nologin
    46  mysql:x:1001:1001::/home/mysql:/bin/bash

awk命令

---

awk是一个数据处理工具。可以编程，处理能力更为强大。

awk处理方式：awk一次处理一行内容，也是行处理方式，和sed命令不同，awk可以对每行切片处理，比如说可以对每行的第一个单词输出，如果用sed处理那么就要用到替换功能，比较麻烦。

awk格式：

   命令行格式：

   awk [options]  'command' file(s)

   脚本格式：

   awk -f awk-script-file file(s)

格式：

    基本格式：

    command：pattern { awk操作命令(这里可以编程，awk也有内置函数) } ；         pattern ：正则表达式；逻辑判断式；

   扩展格式：

awk内置参数：

  $0：表示整个当前行。

  $1：每行第一个字段。

  $2：每行第二的字段。 其它的以此类推。

  分隔符：options：-F field-separator （默认为空格）。 例如： awk -F ‘：’ '{print $3}' /etc/passwd   就会把每行用:分割，然后取出第三个被分割后的字段。

  NR（行）：每行的记录号。

  NF（列）：字段数量变量。

FILENAME：正在处理的文件名。

示例1：

打印第一列和第三列

[root@localhost python]#  awk -F  ':' '{print $1,$3}' /etc/passwd     $1和$3直接的逗号,是用来显示出来的时候两列之间会有空格，起分割的作用，逗号也可以用双引号代替" "
root 0
bin 1
daemon 2

可以每列加上说明参数，制表的表示显示出来。

[root@localhost python]#  awk -F  ':' '{print  "user:"$1"	 ""uid:"$3}' /etc/passwd
user:root        uid:0
user:bin         uid:1
user:daemon      uid:2
user:adm         uid:3

 打印出每行行号和列数

[root@localhost python]#  awk -F  ':' '{print  NR,NF}' /etc/passwd
1 7                  前面数字表示当前的行号，后面代表当前行有多少列
2 7
3 7

 也可以使用printf()函数 这个函数和php里printf()函数差不多，可以输出格式化的字符串。

[root@localhost ~]# awk -F  ':' '{printf("Line:%s Col:%s
",NR,NF)}' /etc/passwd
Line:1 Col:7
Line:2 Col:7
Line:3 Col:7
Line:4 Col:7
Line:5 Col:7
Line:6 Col:7
Line:7 Col:7
Line:8 Col:7
Line:9 Col:7

awk条件判断：

awk内置可以条件判断语句，比如显示passwd文件中用户ID大于100的行号和用户。

[root@localhost ~]# awk -F  ':' '{if ($3 > 100) print "Line :" NR,"USER:" $1 }' /etc/passwd
Line :14 USER:avahi-autoipd
Line :16 USER:polkitd
Line :17 USER:abrt
Line :18 USER:unbound
Line :19 USER:usbmuxd
Line :22 USER:colord
Line :24 USER:saslauth
Line :25 USER:libstoragemgmt
Line :27 USER:rtkit

awk逻辑判断式：

   ~   ,    ! ~ （波浪线取反）  ：代表匹配正则表达式  ， 不匹配正则表达式

  == ，   ！= ， <  ， >         ： 判断逻辑表达式

示例：

匹配第一列以m开头的行

[root@localhost ~]# awk -F ':' '$1~/^m.*/{print $1}' /etc/passwd
mail
mysql

匹配第一列不是以m开头的行

[root@localhost ~]# awk -F ':' '$1!~/^m.*/{print $1}' /etc/passwd
root
bin
daemon
adm

用户ID大于200的行号和用户

[root@localhost ~]# awk -F ':' '$3>200{print $1 $3}' /etc/passwd
polkitd999
unbound998
colord997
saslauth996
libstoragemgmt995

awk扩展格式BEGIN和END：

  BEGIN {print  "start" } pattern { commands } END { print "end" }

  上面命令行的意思是在awk读取行之前先执行BEGAIN 模块中的内容，然后在执行commands （这里可以循环操作）内容，最后在执行END 模块中内容。

  下面看几个案例就容易懂了。

  案例：

  制表显示/etc/passwd文件每行的行号，每行的列数，对应行的用户名。

[root@localhost ~]# awk -F ':' 'BEGIN{print "Line  Col User "}{print NR,NF,$1}END{print "-----over-----"}' /etc/passwd
Line  Col User
1 7 root
2 7 bin
3 7 daemon
4 7 adm
5 7 lp
6 7 sync
7 7 shutdown
8 7 halt
9 7 mail
10 7 operator
-----over-----

awk逻辑处理：

案例：

 求出目录中所有文件大小总和并打印出来

[root@localhost rabbitmq-c]# ll | awk 'BEHIN{size=0}{size+=$5}END{print "size is " size/1024/1024"M"}'  在begin时候初始化size变量为0
 size is 1.61688M

统计/etc/passwd账号总人数

[root@localhost rabbitmq-c]# awk -F ':' 'BEGIN{count=0}$1!~/^$/{count++}END{print "count = "count}' /etc/passwd    求文件行数但是不包括空行
count = 53

统计用户id大于100的用户

[root@localhost rabbitmq-c]# awk -F ':' 'BEGIN{num=0}{if ($3 > 100) name[num++]=$1}END{for (i=0;i<num;i++) print i,name[i]}' /etc/passwd   这里用到了数组 for循环
0 avahi-autoipd
1 polkitd
2 abrt
3 unbound
4 usbmuxd
5 colord
6 saslauth

 统计网络中conneted和listen状态的数量

[root@localhost rabbitmq-c]# netstat -anp | awk '$6~/CONNECTED|LISTEN/{sum[$6]++}END{for (i in sum)print i,sum[i]}'
LISTEN 18
CONNECTED 244