把简单的技术学到极致就是高手。
前言
Linux三剑客指的是grep、sed以及awk命令的使用，这三个命令功能异常强大，大到没朋友。grep命令主打“查找”，sed命令主打“编辑”，awk命令主打“分割处理”。之所以是28分钟，大概是我比较严谨吧，数字也比较吉利。
下面给和网管相关的几个例子看看实用的效果，改进建议也经常会用这些命令写自动化脚本。如果以下例子秒懂，那不用看了，该干嘛干嘛。
1、扫描本地ip地址
ifconfig eth0 | grep "inet addr:" | awk '{print $2}' | sed 's/addr://g'
2、扫描端口号被哪个进程占用
netstat -anp | awk '{print $4,$7}' | grep 31006 | sed -n '1p' | awk '{print $2}' | awk -F'/' '{print $1}' | xargs ps -lfp | sed -n '2p' | awk '{print $17}'
3、获取某个进程的堆栈
ps -elf | grep -v grep | grep necomm_agent | awk '{print $4}' | xargs gstack > yp.txt
4、批量重命名网元license备份的文件名
for i in `ls`; do mv -f $i `echo $i | sed 's/^[a-zA-Z0-9].*_[a-zA-Z0-9].*_([0-9]{8})(_)([0-9]{6})(.txt)$/Lic_Esn_123/'`; done
5、统计某个文件夹下的文件占用的字节数
ls -l | awk 'BEGIN {size=0;} {size = size + $5;} END{print “[end]size is ”, size/1024,1024, “M”}'
里面有几个知识点先行赘述。
1、 何时需要xargs？
1） 有些命令本身是不支持管道，这个时候要加xargs，本身支持管道的命令有限如
cut grep sort uniq wc tee join split等
如下面的例子
echo “/opt” | ls –l //ls本身是不支持管道，所以对于前面管道输出的内容会忽略，不会输出/opt目录下内容
echo “/opt” | xargs ls –l //加上xargs，执行的结果就是输出/opt下目录的内容
2） 命令虽然支持管道，但如果不加xargs和加xargs意义也截然不同。
比如网管中经常用到到在某个目录下查找某个abc字符串：
find ./ | grep “abc” //这个命令不会在目录下文件查找，而是把find出来的内容中查找，相当于在一群文件名中查找是否有包含abc的文件名。
find ./ | xargs grep “abc” //这个命令是把find出来的东西当做参数传递给管道后的内容，相当于在find出来的文件内容中查找是否包含字符串abc。
2、 正则表达式
一个正则表达式通常被称为一个模式，用来描述或匹配一系列符合某个语法规则的字符串。正则表达式有多重不同的风格，但大同小异，下面列出PCRE中常用的元字符和意义。POSIX正则表达式分为基本正则表达式（BRE）和扩展表达式（ERE）。
目前很多UNIX工具程序沿用某一种正则表达式形式来强化本身的功能。常用的包括
1） grep工具组：grep和egrep
2） 改变输入流的sed流编辑器
3） 字符串处理程序语言：awk
4） 文件查询程序：more、less
5） 文本编辑器：vi
|
字符 |
意义 |
支持的类型 |
|
将下一个字符标记为特殊字符，或者将一个元字符转义为普通字符。如n加上匹配一个换行符。\则匹配一个字符。 |
BOTH |
|
|
^ |
匹配输入字符串的开始位置 |
BOTH |
|
$ |
匹配输入字符串的结束位置 |
BOTH |
|
* |
匹配前面的子表达式0次或者多次，如zo*能匹配z和zoo |
BOTH |
|
？ |
匹配前面的子表达式0次或者1次 |
ERE |
|
. |
匹配除 之外的任何单个字符 |
BOTH |
|
+ |
匹配前面的子表达式1次或者多次，如zo+能匹配zo和zoo，但不能匹配z |
ERE |
|
| |
匹配于|符号前或后的正则表达式 |
ERE |
|
{n,m} |
最少匹配n次，最多匹配m次和BRE的区别是不需要加 |
ERE |
|
{n} |
匹配前面的子表达式n次 |
BRE |
|
{n,} |
至少匹配前面的子表达式n次 |
BRE |
|
{n,m} |
最少匹配n次，最多匹配m次 |
BRE |
|
() |
将(与)间的模式存储在特殊的保留空间 |
BRE |
|
digit |
重复在(与)方括号内第n个子模式至此点的模式 |
BRE |
|
[xyz] |
匹配xyz中的任何一个字符 |
BOTH |
|
[^xyz] |
匹配未包含的任意字符 |
BOTH |
|
[x-z] |
匹配小写的字符 |
BOTH |
如：
grep ‘a{3}’ test.txt \查找test.txt中包含3个a的行
grep ‘^aa’ test.txt \查找test.txt中以aa开头的行
grep ‘^$’ test.txt \查找所有空行
后向引用
后向引用指的是“匹配于正则表达式匹配的先前的部分”。后向引用只在BRE中存在。使用后向引用的步骤有两步。
1、 将子表达式包围在(与)里，单个模式里可包含最多9个子表达式
2、 在模式之后使用digit，digit是介于1至9的数字，指的是“匹配于第n个先前方括号内子表达式匹配成功的字符”
grep ‘(why).*1’ test.txt \一行里可以匹配why..why
grep ‘(ab)(cd)[def]*21’ test.txt \匹配abcddcdab
< >
匹配单词的开头与结尾。单词是由字母、数字及下划线组成。
以下图为各种UNIX程序与其使用的正则表达式
|
类型 |
Grep |
sed |
vi |
more |
egrep |
awk |
|
BRE |
√ |
√ |
√ |
√ |
||
|
ERE |
√ |
√ |
||||
|
< > |
√ |
√ |
√ |
√ |
好，进入正题。
一、 grep命令
grep是一种强大的文本搜索工具，它能使用正则表达式搜索文本，并把匹配的行打印出来，其格式如下：
grep [选项] pattern file
常用的选项
-v 过滤指定字符串内容的行
-i 不区分大小写
-n 顺便打印出行号
-c 计算出符合行的次数
-E 默认grep只支持基本的正则表达式，加上-E支持扩展的正则表达式，grep –E和egrep意义一样，扩展的正则表达式有’+’，’?’，’|’，’()’
常用的命令
ps –elf | grep –v grep | grep “necomm_agent” //如果不加grep –v grep，输出2条内容
grep –i ‘abc’ test.txt//忽略大小写，找出test.txt包含abc的行
grep –v ‘^$’ test.txt > testnew.txt //过滤test.txt的空行
二、 sed命令
sed是操作、过滤和转换文本内容的强大工具，常用功能增删改查，过滤，取行。
格式如下：
sed [options] [sed-commands] [input-file]
sed [选项] [sed命令] [输入文件]
说明：
options常用的有：
-n ：抑制默认输出
-e 执行多条编辑命令
-i：直接在原文件中修改
sed-commands既可以是单个sed命令，也可以是多个sed命令组合
input-file(输入文件)是可选项，sed还能够从标准输入如管道获取输入
工作原理
sed是从文件或管道中读取一行，放在模式空间中，进行处理，处理完输出一行；再读取一行，再处理一行
模式空间：sed内部的一个临时缓存，用于存放读取到的内容
1）增
a 追加文本到指定行后
i 插入文本到指定行前
i 单行增加
sed '2a abc' test.txt
sed '2i abc' test.txt
ii 增加多行
sed '2a abc
cde' test.txt
指定执行的地址范围
sed可以对单行或多行进行处理，如果在sed命令前面不指定地址范围，那么默认会匹配所有行。
用法 n1[,n2] {sed-commands}
地址用逗号分隔的，n1,n2可以是数字、正则表达式、或两者的组合表示。$表示最后一行。
/abc/,/fff/{sed-commands} //对匹配abc的行到匹配fff的行操作
2）删
d 删除指定的行
sed '/aaa/d' test.txt
3)改
i c用新行取代旧行
sed '2c abc' test.txt
ii 文本替换
sed 's/abc/bcd/g' test.txt //后面的g代表全局替换，如果不加g，只替换每行第一个匹配的字符串
sed ‘s/^/abc /’ test.txt //在test.txt每行前插入abc
sed -i '/aaa/s/abc/bcd/g' test.txt //加上-i代表修改了文件test.txt
替换部分有几个特殊的元字符，它们分别是
&：被pattern匹配的内容
um：被pattern匹配的第num个分组（正则表达式的概念，(…)括起来的部分成为分组）
sed '/d/s/ab/&jj/' test.txt //将匹配d内容的行中的ab替换为abjj
echo this is digit 7 in a number | sed 's/digit ([0-9])/1/' //将命令中的digit 7 修改为7
4)查
p 输出指定内容，但默认会输出2次匹配的结果，因此使用n取消默认输出
按行查询
sed -n '2p' test.txt
按字符串查询
sed –n ‘/abc/p’ test.txt
混合查询
sed –n ‘2,/abc/p’ test.txt
5）多命令编辑
sed -e '1,5d' -e 's/test/check/' test.txt
三、awk命令
awk是一个强大的文本分析工具，相对于grep的查找，sed的编辑，awk在其对数据分析并生产报告时，显得尤为强大。简单的说就是把文件逐行的读入，以空格为默认分隔符将每行切片，切开的部分再进行各种分析处理。
使用方法
awk [-F field-separator] '{pattern + action}' {filename}
pattern表示awk在数据库中查找的内容，action表示找到匹配内容所执行的一系列命令，pattern就是要表示的正则表达式，用斜杠括起来。
-F 域分隔符 是可选的，如果不指定，默认的域分隔符是空格
awk '{print $1}'
cat /etc/passwd |awk -F ':' 'BEGIN {print "name,shell"} {print $1","$7} END {print "blue,/bin/nosh"}'
执行流程为：先执行BEGIN，然后读取文件，读入有 换行符分割的一条记录，然后将记录按指定的域分隔符划分域，填充域，$0表示所有域，$1表示第一个域，$n表示第n个域，随后开始执行模式所对应的动作action。
然后开始读入第二条记录.....直到所有的记录都读完，最后执行END操作
常用的命令
awk -F: '/^root/' /etc/passwd 如果没有指定action，默认输出每行的内容
awk -F: '/^ftp/{print $4}' /etc/passwd 指定了action
ls -l|awk '/^[^d]/ {print $9" "$5} {tot+=$5} END{print "totKB:" tot}'
统计某个文件夹下的文件占用的字节数
ls -l | awk 'BEGIN {size=0;} {size = size + $5;} END{print “[end]size is ”, size/1024,1024, “M”}'
awk的编程是从C语言借鉴过来的，所以语法类似
如test.txt中包含姓名和各科成绩，输出姓名和最大成绩
awk 'BEGIN {MAX=0;} {NAME = $1; for(x=2; x<=NF; x++) { if($x >= MAX) { MAX=$x}} printf "name:%s MAX:%d ", NAME,MAX; MAX=0}' test.txt