Shell编程之linux四剑客命令案列分析
在我们日常的Shell编程中我们会用到很多的一些语句，有的语句，如果用好了，可以让我们的脚本更上一层楼，让我们的功能更容易满足企业的需求。
一.Sed命令
动作说明：
-
a ：新增， a 的后面可以接字串，而这些字串会在新的一行出现(目前的下一行)～
-
c ：取代， c 的后面可以接字串，这些字串可以取代 n1,n2 之间的行！
-
d ：删除，因为是删除啊，所以 d 后面通常不接任何咚咚；
-
i ：插入， i 的后面可以接字串，而这些字串会在新的一行出现(目前的上一行)；
-
p ：打印，亦即将某个选择的数据印出。通常 p 会与参数 sed -n 一起运行～
-
s ：取代，可以直接进行取代的工作哩！通常这个 s 的动作可以搭配正规表示法！例如 1,20s/old/new/g 就是啦！
sed命令的选项(option)：
-n ：只打印模式匹配的行
-e ：直接在命令行模式上进行sed动作编辑，此为默认选项
-f ：将sed的动作写在一个文件内，用–f filename 执行filename内的sed动作
-r ：支持扩展表达式
-i ：直接修改文件内容
作用：文件外命令对文件内容进行操作
vi test.txt
# name info
My name is kongdesheng
This is my first scripts!
192.168.1.11
192.168
:%s/169/168/g #文件中把全部169改成168
列1： 把文件中内容为'192'的字符串特换为10
sed 's/192/10/g' test.txt //缓存修改，实际文件内容未变 sed -i 's/192/10/g' test.txt //文件内容真正被修改
列2：在文件内容的行首添加一个空格
#在文件内容的行首添加一个空格，‘^’：代表开始 sed 's/^/& /g' test.txt #在文件内容的行首添加一个id空格，在实际工作中用for循环把id替换成1，2，这种行号一行一行的加入行号 sed 's/^/&id /g' test.txt
列3：在文件内容的行尾添加一个'id'
#在文件内容的行尾添加一个空格id，‘$’：代表开始 sed 's/$/& id/g' test.txt
列4：在文件内容“kongdesheng”的后面插入一行内容
#'a':下一行新增 sed '/kongdesheng/a and is lisi' test.txt
列5：在文件内容“kongdesheng”的前面插入一行内容
#'i':前一行新增 sed '/kongdesheng/i and is lisi' test.txt
列6：打印文件内容“kongdesheng”的一行内容
#'-n' ：只打印模式匹配的行 sed -n '/kongdesheng/p' test.txt
列7：打印第指定行的内容
sed -n '1p' test.txt #打印第一行 sed -n '3p' test.txt #打印第三行 sed -n '1,5p' test.txt #打印1至5行
列8：一个文件中，有一堆数据，大小不一，行号不定，找出出文件中最大最小的一个数
vi test.txt
11 653 9852
23415566 6561
79446 5432 314
94463
4461
642 21 19
命令：
#sed's/ / /g' 把空格换行，把每个数字为一行 #grep -v "^$" grep：分组过滤筛选数据，-v:剔除匹配后面结果的行，这里作用是去除空行 #sort -nr 排序（-nr:降序, -n:升序） -r将数字当做字符进行排序，-nr 按照整个数字来排序 #sed -n '1p' 打印第一行 #sed -n '1p;$p' $代表最后一个，这里$p代表最后一行 cat test.txt |sed 's/ / /g'|grep -v "^$"|sort -nr|sed -n '1p;$p'
二.Awk命令
作用：常用于对列的筛选
选项参数说明：
-
-F fs or --field-separator fs指定输入文件折分隔符，fs是一个字符串或者是一个正则表达式，如-F:。
-
-v var=value or --asign var=value赋值一个用户定义变量。
-
-f scripfile or --file scriptfile从脚本文件中读取awk命令。
-
-mf nnn and -mr nnn对nnn值设置内在限制，-mf选项限制分配给nnn的最大块数目；-mr选项限制记录的最大数目。这两个功能是Bell实验室版awk的扩展功能，在标准awk中不适用。
-
-W compact or --compat, -W traditional or --traditional在兼容模式下运行awk。所以gawk的行为和标准的awk完全一样，所有的awk扩展都被忽略。
-
-W copyleft or --copyleft, -W copyright or --copyright打印简短的版权信息。
-
-W help or --help, -W usage or --usage打印全部awk选项和每个选项的简短说明。
-
-W lint or --lint打印不能向传统unix平台移植的结构的警告。
-
-W lint-old or --lint-old打印关于不能向传统unix平台移植的结构的警告。
-
-W posix打开兼容模式。但有以下限制，不识别：/x、函数关键字、func、换码序列以及当fs是一个空格时，将新行作为一个域分隔符；操作符和=不能代替^和^=；fflush无效。
-
-W re-interval or --re-inerval允许间隔正则表达式的使用，参考(grep中的Posix字符类)，如括号表达式[[:alpha:]]。
-
-W source program-text or --source program-text使用program-text作为源代码，可与-f命令混用。
-
-W version or --version打印bug报告信息的版本。
列1：文件test.txt,内容如下一行，请打印出第四列的值
vi test.txt
My name is kongdesheng
#$4:打印第四列 awk '{print $4}' test.txt #或者 cat test.txt |awk '{print $4}' #$nf:打印全部 awk '{print $nf}' test.txt #$NF:打印最后一列 awk '{print $NF}' test.txt
列2：打印/etc/passwd文件中的第一列（用户）
#-F:以'：'为分隔划分列（默认是空格划分列） cat /etc/passwd |awk -F: '{print $1}' #或者如下 #sed 's/:/ /g':把冒号换成空格 cat /etc/passwd |sed 's/:/ /g' |awk '{print $1}'
列3：从ifconfig命令集得到ip地址
#grep 'netmask' ：查找包含'netmask'的行 #awk '{print$2}'：第二列 ifconfig ens33 |grep 'netmask'|awk '{print$2}'
列4：df -h 检查linux服务器的文件系统的磁盘空间占用情况，返回占用率
#grep "/$" :以'/'结尾的行 #awk '{print$5}' ：第五列 df -h |grep "/$" |awk '{print$5}' # sed 's/%//g' :去除'%'号 df -h |grep "/$" |awk '{print$5}'| sed 's/%//g'
列4： 在内容前面加属性
#'^' 开始 #'$' 末尾 awk '{print$NF}' test.txt |sed 's/^/Name:/g' 或者 awk '{print"Name:"$NF}' test.txt
三.Find命令
语法:
find path -option [ -print ] [ -exec -ok command ] {} ;
参数说明 :
find 根据下列规则判断 path 和 expression，在命令列上第一个 - ( ) , ! 之前的部份为 path，之后的是 expression。如果 path 是空字串则使用目前路径，如果 expression 是空字串则使用 -print 为预设 expression。
expression 中可使用的选项有二三十个之多，在此只介绍最常用的部份。
-mount, -xdev : 只检查和指定目录在同一个文件系统下的文件，避免列出其它文件系统中的文件
-amin n : 在过去 n 分钟内被读取过
-anewer file : 比文件 file 更晚被读取过的文件
-atime n : 在过去n天内被读取过的文件
-cmin n : 在过去 n 分钟内被修改过
-cnewer file :比文件 file 更新的文件
-ctime n : 在过去n天内被修改过的文件
-empty : 空的文件-gid n or -group name : gid 是 n 或是 group 名称是 name
-ipath p, -path p : 路径名称符合 p 的文件，ipath 会忽略大小写
-name name, -iname name : 文件名称符合 name 的文件。iname 会忽略大小写
-size n : 文件大小 是 n 单位，b 代表 512 位元组的区块，c 表示字元数，k 表示 kilo bytes，w 是二个位元组。
-exec ：承接
|xargs : 承接作用，使用时有局限,
-type c : 文件类型是 c 的文件，type可以是以下的值
d: 目录
c: 字型装置文件
b: 区块装置文件
p: 具名贮列
f: 一般文件
l: 符号连结
s: socket
列1：根目录下查找test.txt文件
# / 根目录 find / -name 'test.txt'
列2：当前目录下查找test.txt文件
# . 当前目录 find . -name 'test.txt'
列3：当前目录的第一级目录查找查找test.txt文件
# -maxdepth 1 第一级目录 find . -maxdepth 1 -name 'test.txt'
列4：当前目录下的第一级目录查找.txt结尾的文件
#-type f 文件 find . -maxdepth 1 -type f -name '*.txt'
列5：查找30天以前修改过的的文件
# / 根目录 # -maxdepth 3 根目录三级以内的目录 # -type f 文件 # -mtime +30 三十天以前修改的文件 find / -maxdepth 3 -type f -name '*.txt' -mtime +30
列6：查找1天以内修改过的文件
# . 当前目录 # -maxdepth 3 当前目录三级以内的目录 # -type f 文件 # -mtime -1 1天以内修改的文件 find . -maxdepth 3 -type f -name '*.txt' -mtime -1
列7：当前目录下查找一天以内修改的文件 删除
# . 当前目录 # -maxdepth 1 一天以内的目录 # -name "*.text" 结尾为.text # -type f 文件 # -mtime -1 1天以内修改的文件 # -exec rm -rf {} 把前面的结果承接引入到大括号位置 # ; 固定的格式
find . -maxdepth 1 -type f -name "*.text" -mtime -1 -exec rm -rf {} ; #或者 find . -maxdepth 1 -type f -name "*.txt" -mtime -1 |xargs rm -rf {} ;
列8：当前目录下查找一天以内修改的文件，复制到tmp文件夹下
# . 当前目录 # -maxdepth 1 一天以内的目录 # -name "*.txt" 结尾为.txt # -type f 文件 # -mtime -1 1天以内修改的文件 # --exec cp {} /home/ 把前面的结果承接引入到大括号位置 # ; 固定的格式 find . -maxdepth 1 -type f -name "*.txt" -mtime -1 -exec cp {} /home/ ;
列9： 查找内存大于 20M的文件
find . -size +20M
列10：从根目录三级目录内查找100M以内的文件
find / -maxdepth 3 -size +100M -type f
列11：删除当前目录下30天以前的文件
find . mtime +30 -exec rm -rf {} ;
四.Grep命令
作用：对内容进行过滤
参数：
-
-a 或 --text : 不要忽略二进制的数据。
-
-A<显示行数> 或 --after-context=<显示行数> : 除了显示符合范本样式的那一列之外，并显示该行之后的内容。
-
-b 或 --byte-offset : 在显示符合样式的那一行之前，标示出该行第一个字符的编号。
-
-B<显示行数> 或 --before-context=<显示行数> : 除了显示符合样式的那一行之外，并显示该行之前的内容。
-
-c 或 --count : 计算符合样式的列数。
-
-C<显示行数> 或 --context=<显示行数>或-<显示行数> : 除了显示符合样式的那一行之外，并显示该行之前后的内容。
-
-d <动作> 或 --directories=<动作> : 当指定要查找的是目录而非文件时，必须使用这项参数，否则grep指令将回报信息并停止动作。
-
-e<范本样式> 或 --regexp=<范本样式> : 指定字符串做为查找文件内容的样式。
-
-E 或 --extended-regexp : 将样式为延伸的正则表达式来使用。
-
-f<规则文件> 或 --file=<规则文件> : 指定规则文件，其内容含有一个或多个规则样式，让grep查找符合规则条件的文件内容，格式为每行一个规则样式。
-
-F 或 --fixed-regexp : 将样式视为固定字符串的列表。
-
-G 或 --basic-regexp : 将样式视为普通的表示法来使用。
-
-h 或 --no-filename : 在显示符合样式的那一行之前，不标示该行所属的文件名称。
-
-H 或 --with-filename : 在显示符合样式的那一行之前，表示该行所属的文件名称。
-
-i 或 --ignore-case : 忽略字符大小写的差别。
-
-l 或 --file-with-matches : 列出文件内容符合指定的样式的文件名称。
-
-L 或 --files-without-match : 列出文件内容不符合指定的样式的文件名称。
-
-n 或 --line-number : 在显示符合样式的那一行之前，标示出该行的列数编号。
-
-o 或 --only-matching : 只显示匹配PATTERN 部分。
-
-q 或 --quiet或--silent : 不显示任何信息。
-
-r 或 --recursive : 此参数的效果和指定"-d recurse"参数相同。
-
-s 或 --no-messages : 不显示错误信息。
-
-v 或 --revert-match : 显示不包含匹配文本的所有行。
-
-V 或 --version : 显示版本信息。
-
-w 或 --word-regexp : 只显示全字符合的列。
-
-x --line-regexp : 只显示全列符合的列。
-
-y : 此参数的效果和指定"-i"参数相同。
列1： 匹配以11开始的文件行
grep "^11" test.txt
列2： 匹配以61结尾的文件行
grep "61$" test.txt
列3： 匹配包含有0至9的文件行
grep "[0-9]" test.txt
列4： 匹配包含有a至z的文件行
grep "[a-z]" test.txt #匹配大写A-Z开始的行 grep "^[A-Z]" test.txt
列5： 默认匹配为模糊匹配（包含关系）
grep "168" test.txt
列6： 绝对匹配（相等关系）
grep "^192.168$" test.txt
列7： 匹配ip
#-E:将样式为延伸的正则表达式来使用 #[0-9]:匹配的参数 #{1,3}：出现的次数 grep -E "([0-9]{1,3}.){3}[0-9]{1,3}" test.txt #或者如下语句，作用是一样的 cat test.txt |grep -E "([0-9]{1,3}.){3}[0-9]{1,3}"
列8： 多级匹配
grep -E 等于egrep
#'||':全部打印，标红匹配内容 #'|' :打印匹配的行内容 # -n 打印行号 egrep -n "11|kongdesheng" test.txt #或者 grep -E "11|kongdesheng" test.txt
