• linux文本三剑客之grep


      grep(global search regular expression(RE) and print out the line,全面搜索正则表达式并把行打印出来)是一种强大的文本搜索工具,它能使用正则表达式搜索文本,并把匹配的行打印出来。

    grep [options] PATTERN [FILE...]
    grep [options] [-e PATTERN | -f FILE] [FILE...]
    

      其中, Egrep 与 grep -E 相同; Fgrep 与 grep -F 相同。

      参数选项(整理自man手册):

     -A NUM, --after-context=NUM
        打印出紧随匹配的行之后的下文 NUM 行。在相邻的匹配组之间将会打印内容是 -- 的一行;
    
    -a, --text
        将一个二进制文件视为一个文本文件来处理;它与 --binary-files=text 选项等价;
    
    -B NUM, --before-context=NUM
        打印出匹配的行之前的上文 NUM 行。在相邻的匹配组之间将会打印内容是 -- 的一行;
    
    -C NUM, --context=NUM
        打印出匹配的行的上下文前后各 NUM 行。在相邻的匹配组之间将会打印内容是 -- 的一行;
    
    -b, --byte-offset
        在输出的每行前面同时打印出当前行在输入文件中的字节偏移量;
    
    --binary-files=TYPE
        如果一个文件的起始几个字节表明文件包含二进制数据,那么假定文件是TYPE类型的。默认情况下,TYPE 是binary,并且 grep一般会输出一个一行的消息说一个二进制文件匹配,或者如果没有匹配的话就没有消息输出;
    
    --colour[=WHEN], --color[=WHEN]
        在匹配的行周围以 GREP_COLOR 环境变量中指定的记号来标记。WHEN 可以是 `never', `always', 或是 `auto';
    
    -c, --count
        禁止通常的输出;作为替代,为每一个输入文件打印一个匹配的行的总数;
    
    -D ACTION, --devices=ACTION
        如果输入文件是一个设备,FIFO  或是套接字(socket),使用动作 ACTION 来处理它。默认情况下,动作ACTION是read,意味着设备将视为普通文件那样来读。如果动作  ACTION是skip,将不处理而直接跳过设备;
    
    -d ACTION, --directories=ACTION
        如果输入文件是一个目录,使用动作 ACTION 来处理它。默认情况下,动作 ACTION 是 read ,意味着目录将视为普通文件那样来读。如果动作 ACTION 是skip,将不处理而直接跳过目录。如果动作ACTION 是 recurse,grep 将递归地读每一目录下的所有文件。这样做和-r选项等价;
    
    -E, --extended-regexp
        将模式 PATTERN 作为一个扩展的正则表达式来解释;
    
    -e PATTERN, --regexp=PATTERN
        使用模式 PATTERN 作为模式;在保护以 - 为起始的模式时有用;
    
    -F, --fixed-strings
        将模式 PATTERN 视为一个固定的字符串的列表,用新行 (newlines) 分隔,只要匹配其中之一即可;
    
    -P, --perl-regexp
        将模式 PATTERN 作为一个 Perl 正则表达式来解释;
    
    -f FILE, --file=FILE
        从文件 FILE 中获取模式,每行一个。空文件含有0个模式,因此不匹配任何东西;
    
    -G, --basic-regexp
        将模式 PATTERN 作为一个基本的正则表达式 (参见下面) 来解释。这是默认值;
    
    -H, --with-filename
        为每个匹配打印文件名;
    
    -h, --no-filename
        当搜索多个文件时,禁止在输出的前面加上文件名前缀;
    
    --help	
        输出一个简短的帮助信息;
    
    -I	
        处理一个二进制文件,但是认为它不包含匹配的内容。这和 --binary-files=without-match 选项等价
    
    -i, --ignore-case
        忽略模式 PATTERN 和输入文件中的大小写的分别
    
    -L, --files-without-match
        禁止通常的输出;作为替代,打印出每个在通常情况下不会产生输出的输入文件的名字。对每个文件的扫描在遇到第一个匹配的时候就会停止;
    
    -l, --files-with-matches
        禁止通常的输出;作为替代,打印出每个在通常情况下会产生输出的输入文件的名字。对每个文件的扫描在遇到第一个匹配的时候就会停止;
    
    -m NUM, --max-count=NUM
        在找到NUM个匹配的行之后,不再读这个文件。如果输入是来自一个普通文件的标准输入,并且已经输出了NUM个匹配的行,grep保证标准输入被定位于退出时的最后一次匹配的行之后,不管是否指定了要输出紧随的下文的行。这样可以使一个调用程序恢复搜索。当                grep 在NUM个匹配的行之后停止,它会输出任何紧随的下文的行。当使用了-c或--count选项的时候,grep不会输出比NUM更多的行。当指定了-v或--invert-match 选项的时候, grep 会在输出NUM个不匹配的行之后停止;
    
    --mmap 
        如果可能的话,使用mmap(2)系统调用来读取输入,而不是默认的read(2)系统调用。在一些情况下, --mmap提供较好的性能。但是,如果一个输入文件在grep正在操作时大小发生变化,或者如果发生了一个 I/O 错误, --mmap 可能导致不可知的行为 (包括core dumps);
    
    -n, --line-number
        在输出的每行前面加上它所在的文件中它的行号;
    
    -o, --only-matching
        只显示匹配的行中与 PATTERN 相匹配的部分;
    
    --label=LABEL
        将实际上来自标准输入的输入视为来自输入文件 LABEL 。这对于 zgrep 这样的工具非常有用,例如: gzip -cd foo.gz |grep --label=foo something;
    
    --line-buffering
        使用行缓冲,it can be a performance penality;
    
    -q, --quiet, --silent
        不向标准输出写任何东西。如果找到任何匹配的内容就立即以状态值 0 退出,即使检测到了错误。 参见 -s 或 --no-messages 选项;
    
    -R, -r, --recursive
    递归地读每一目录下的所有文件。这样做和 -d recurse 选项等价;
    
        --include=PATTERN
        仅仅在搜索匹配 PATTERN 的文件时在目录中递归搜索
    
        --exclude=PATTERN
        在目录中递归搜索,但是跳过匹配 PATTERN 的文件
    
     -s, --no-messages
    	禁止输出关于文件不存在或不可读的错误信息。  对于可移植性需要注意:与 GNU grep 不同,传统的 grep 不遵守 POSIX.2 规范,因为传统的 grep 缺少一个 -q 选项,而它的 -s 选项与 GNU grep 的-q 选项行为相似。需要可移植到传统 grep 的 shell 脚本应当避免使用 -q 和 -s 选项,而应当将输出重定向到 /dev/null ;
    
    -U, --binary
        将文件视为二进制。默认情况下,在 MS-DOS 和 MS-Windows 系统中, grep 通过从文件中读取头部的 32kB 内容来判断它的文件类型。如果 grep  判断文件是一个文本文件,它将原始文件内容中的CR字符去除(使得含有^ 和 $的正则表达式可以正常工作)。指定 -U 将不进行这些工作,而使所有文件保持不变地读取并传递给匹配机制。如果文件是一个以 CR/LF换行的文本文件,这样作将导致一些正则表达式失败;
    
    -u, --unix-byte-offsets
        报告Unix风格的字节偏移量。这个开关使得grep报告字节偏移量时,将文件作为Unix 风格的文本文件看待,也就是说将CR字符去掉。这将产生与在一台Unix主机上运行grep完全相同的结果。除非同时使用 -b 选项,否则这个选项无效;
    
    -V, --version
        向标准错误输出打印 grep 的版本号;
    
    -v, --invert-match
        改变匹配的意义,只选择不匹配的行;
    
    -w, --word-regexp
        只选择含有能组成完整的词的匹配的行。判断方法是匹配的子字符串必须是一行的开始,或者是在一个不可能是词的组成的字符之后。与此相似,它必须是一行的结束,或者是在一个不可能是词的组成的字符之前。词的组成字符是字母,数字,还有下划线;
    
    -x, --line-regexp
        只选择能匹配完整一行的匹配;
    
    -Z, --null
        输出一个全零字节而不是一般情况下输出在文件名之后的字符。例如,grep -lZ
    在每个文件名之后输出一个全零字节而不是普通的新行符。这个选项使得输出清楚明白,即使文件名的表示中包含特殊字符比如新行符。这个选项可以与命令 find -print0, perl -0, sort -z, 和 xargs -0 一起使用,来处理任意的文件名,即使是那些含有新行符的文件名;
    

      

      正则表达式匹配扩展,整理来自网上

    • 字符匹配
    . 表示任意内容
    [mage]  指定内容的范围 m或a或g或e
    [^mage]  除m及a及g及e
    [:alnum:] 字母和数字
    [:alpha:] 代表任何英文大小写字符,亦即A-Z, a-z
    [:lower:] 小写字母[:upper:] 大写字母
    [:blank:] 空白字符(空格和制表符)
    [:space:] 水平和垂直的空白字符(比[:blank:]包含的范围广)
    [:cntrl:] 不可打印的控制字符(退格、删除、警铃...)
    [:digit:] 十进制数字[:xdigit:]十六进制数字
    [:graph:]可打印的非空白字符
    [:print:] 可打印字符
    [:punct:] 标点符号
    

      

    • 匹配次数
    * 表示前面的字符匹配任意次,可以0次,可以无限,贪婪模式
    .* 表示任意内容任意长度
    ? 表示前面的内容匹配0次或1次
    + 表示前的的内容匹配1次以上
    {n}匹配前面的字符n次
    {m,n}匹配前面的字符至少m次,至多n次
    {,n}匹配前面的字符至多n次
    {n,}匹配前面的字符至少n次
    

      

    • 位置锚定
    ^    用于模式最左侧
    
    $    用于模式最右侧
    
    ^PATTERN$  用于模式匹配整行
    
    ^$    空行
    
    ^[[:space:]]*$    空白行或包含tab字符的行
    
    < 或     词首锚定,用于单词模式的锚定
    
    > 或     词尾锚定,用于单词模式的锚定
    
    1   后向引用,1代表引用前面第一个分组
    
    ()  将一个或多个字符捆在一起重复列出
    

      

      注意:如果.符号具有其他意义,必须要使用转义字符()来加以解除其特殊意义 

      使用示例:

      1.显示/proc/meminfo文件中以大写或小写s开头的行

    grep "^[sS]" /proc/meminfo 
    grep -i "^sS" /proc/meminfo 
    grep -E "^(s|S)" /proc/meminfo 
    grep -E "^s|^S" /proc/meminfo 
    

      

      2.显示/etc/passwd文件中不以/bin/bash结尾的行

    grep -v "/bin/bash$" /etc/passwd
    

      

      3.找出“netstat -tan”命令结果中以LISTEN后跟任意多个空白字符结尾的行

    netstat -tan|grep 'LISTEN[[:space:]]*$'
    

      

      4.利用df和grep,取出磁盘各分区利用率,并从大到小排序

     df | grep /dev/sd |grep -o "[0-9]{1,3}" |sort -n -r
    

      

      5.统计last命令中以root登录的每个主机IP地址登录次数

    last | grep root | grep '([0-9]{1,3}.){3}[0-9]{1,3}' -o | sort | uniq -c
    

      

       6.找出/etc/passwd中的两位或三位数

    grep  "[0-9]{2,3}" /etc/passwd
    

      

      7.显示所有系统用户的用户名和UID

    grep  "^[a-z]{1,}:[0-9]{,3}" /etc/passwd | cut -d: -f1,3
    

      

  • 相关阅读:
    k8s的包管理
    k8s的paas平台
    zookeeper相关
    java之rpc/orm
    java之spring
    EK算法
    SAM学习笔记
    生日悖论不是“悖论”!
    分块--莫队学习粗略预习
    二项式反演学习笔记
  • 原文地址:https://www.cnblogs.com/coder-zyc/p/10234304.html
Copyright © 2020-2023  润新知