Linux基础二

一、通配符

//文件名通配 globbing
    *       //匹配任意长度的任意字符
    ?       //匹配任意单个字符
    []      //匹配指定范围内的任意单个字符
           //转义字符
        [abc]，[a-m]，[0-9]
        [[:space:]]    //表示空白字符
        [[:punct:]]    //表示标点符号
        [[:lower:]]    //表示小写字母
        [[:upper:]]    //表示大写字母
        [[:alpha:]]    //表示大小写字母
        [[:digit:]]    //表示数字
        [[:alnum:]]    //表示数字和大小写字母
        
    使用man 7 glob命令可以获得以上字符集合的帮助信息！！！
    
    [^]     //匹配指定范围之外的任意单个字符

二、文件压缩、解压缩

1. 注释

.gz     .bz2     .xz     .zip     .tar.gz

Linux系统中没有扩展名的概念，只有文件名后缀（说明，注释一个文件的性质，但与文件类型无关）

2. zip/unzip

zip/unzip
zip (选项) (参数)
    -r：递归处理，将指定目录下的所有文件和子目录一并处理
    -m：将文件压缩并加入压缩文件后，删除原始文件，即把文件移到压缩文件中；
    -q：不显示指令执行过程
    -v：显示指令执行过程
    -g: 向压缩包中追加指定文件

unzip (选项) (参数)
    -q：执行时不显示任何信息
    -d：指定文件解压缩后所要存放的目录
    -x：指定不要处理.zip压缩文件中的哪些文件
    -n：解压缩时不要覆盖原有的文件
    -l: 不解压显示压缩包内的文件列表

特点：
　　1、能压缩文件；2、也能压缩目录

3. gzip/gunzip

gzip/gunzip
gzip (选项) (参数)
    -d: 解压缩，相当于gunzip
    -r: 递归压缩目录中每个文件
    -v:显示指令执行过程

gunzip (选项) (参数)
    -r:递归处理，将指定目录下的所有文件及子目录一并处理
    -v:显示指令执行过程
    -c:把解压后的文件输出到标准输出设备,而不改变原文件

zcat：不解压缩的前提下查看文本文件内容

特点：
	1、能对文件和目录操作
	2、对目录操作时，仅对目录中的每个文件实现压缩，而并非压缩目录本身

4. bzip2/bunzip2

bzip2/bunzip2
bzip2 (选项) (参数)
    -d:执行解压缩，相当于bunzip2
    -k: 保留原文件
    -v：压缩或解压缩文件时，显示详细的信息

bunzip2 (选项) (参数)
    -k:在解压缩后，预设会删除原来的压缩文件。若要保留压缩文件，请使用此参数
    -v:解压缩文件时，显示详细的信息

bzcat：不解压缩的前提下查看文本文件内容

特点：
    1、保存原文件不被压缩后删除
    2、同等压缩比例时，压缩率更高，文件更小。
    3、只能针对文件操作！！！

5. xz/unxz

xz/unxz
xz (选项) (参数)
    -k: keep, 保留原文件
    -d：解压缩，相当于unxz

unxz (选项) (参数)
    -k: keep, 保留原文件
    -d：解压缩，相当于unxz
    
xzcat: 不解压缩的前提下查看文本文件内容

特点：
    1、只能针对文件操作！！！

三、归档、展开归档

1. tar

tar
tar (选项) (参数)
    -c: 创建归档（创建压缩文件）
    -x: 展开归档（解压）
    -v: 显示过程
    -f: 指定归档文件

    -tvf: 不显式展开的前提下查看归档
    -r: 往归档文件中追加
    -C: 解压到指定目录，其目录必须事先存在

    -z: 调用gzip压缩归档或解压展开
    -j: 调用bzip2压缩归档或解压展开
    -J: 调用xz压缩归档或解压展开

    -zcf ：创建一个gz格式的文件压缩包
    -jcf ：创建一个bz2格式的文件压缩包
    -Jcf ：创建一个xz格式的文件压缩包

    -zxf ：解压一个gz格式的文件压缩包
    -jxf ：解压一个bz2格式的文件压缩包
    -Jxf ：解压一个xz格式的文件压缩包

2. 创建归档示例

创建归档
    tar -jcf /PATH/TO/SOMEFILE.tar.bz2 FILE...
   
展开归档
    tar -zxf /PATH/TO/SOMEFILE.tar.gz

展开至指定目录
    tar -Jxf /PATH/TO/SOMEFILE.tar.xz -C /PATH/TO/DIR

查看归档文件中的文件列表
    tar -tvf /PATH/TO/SOMEFILE.tar

四、文本去重与排序

1. sort

sort常用选项
sort (选项) (参数) (文件名)
    -n：依照数值的大小排序
    -r：以相反的顺序来排序；
    -t<分隔字符>：指定排序时所用的栏位分隔字符
    -c：检查文件是否已经按照顺序排序

2. uniq

cut常用选项
cut (选项) (参数) (文件名）
    -d：指定字段的分隔符，默认的字段分隔符为“TAB”
    -f：显示指定字段的内容（要显示的列）
    -b：仅显示行中指定直接范围的内容

3. column ——表格化输出，方便查看

column常用选项
      -t      ：易以表格的形式输出
      -s      ：将什么作为分隔的标准

五、文本处理三剑客

1. awk

• awk介绍
  awk是一种编程语言，用于在linux/unix下对文本和数据进行处理。数据可以来自标准输入(stdin)、一个或多个文件，或其它命令的输出。它支持用户自定义函数和动态正则表达式等先进功能，是linux/unix下的一个强大编程工具

• awk命令格式和选项

F fs   fs指定输入分隔符，fs可以是字符串或正则表达式，如-F:
v var=value   赋值一个用户定义变量，将外部变量传递给awk
f scripfile  从脚本文件中读取awk命令

• awk脚本基本结构

awk 'BEGIN{ print "start" } pattern{ commands } END{ print "end" }' file
示例
    awk -F分隔符 '{print $需要打印的列}' 文件名（-F可以不指定分隔符，默认的分隔符是空格，不管有多少个空格，只算一个空格）

awk 'BEGIN{ i=0 } { i++ } END{ print i }' filename
awk "BEGIN{ i=0 } { i++ } END{ print i }" filename

• awk的工作原理

awk 'BEGIN{ commands } pattern{ commands } END{ commands }'

第一步：执行BEGIN{ commands }语句块中的语句；
第二步：从文件或标准输入(stdin)读取一行，然后执行pattern{ commands }语句块，它逐行扫描文件，从第一行到最后一行重复这个过程，直到文件全部被读取完毕。
第三步：当读至输入流末尾时，执行END{ commands }语句块。

解释
BEGIN语句块在awk开始从输入流中读取行之前被执行，这是一个可选的语句块，比如变量初始化、打印输出表格的表头等语句通常可以写在BEGIN语句块中。

END语句块在awk从输入流中读取完所有的行之后即被执行，比如打印所有行的分析结果这类信息汇总都是在END语句块中完成，它也是一个可选语句块。

pattern语句块中的通用命令是最重要的部分，它也是可选的。如果没有提供pattern语句块，则默认执行{ print }，即打印每一个读取到的行，awk读取的每一行都会执行该语句块。

• awk内置变量（预定义变量）

$n 当前记录的第n个字段，比如n为1表示第一个字段，n为2表示第二个字段。 
$0 这个变量包含执行过程中当前行的文本内容。
[N] ARGC 命令行参数的数目。
[G] ARGIND 命令行中当前文件的位置（从0开始算）。
[N] ARGV 包含命令行参数的数组。
[G] CONVFMT 数字转换格式（默认值为%.6g）。
[P] ENVIRON 环境变量关联数组。
[N] ERRNO 最后一个系统错误的描述。
[G] FIELDWIDTHS 字段宽度列表（用空格键分隔）。
[A] FILENAME 当前输入文件的名。
[P] FNR 同NR，但相对于当前文件。
[A] FS 字段分隔符（默认是任何空格）。
[G] IGNORECASE 如果为真，则进行忽略大小写的匹配。
[A] NF 表示字段数，在执行过程中对应于当前的字段数。
[A] NR 表示记录数，在执行过程中对应于当前的行号。
[A] OFMT 数字的输出格式（默认值是%.6g）。
[A] OFS 输出字段分隔符（默认值是一个空格）。
[A] ORS 输出记录分隔符（默认值是一个换行符）。
[A] RS 记录分隔符（默认是一个换行符）。
[N] RSTART 由match函数所匹配的字符串的第一个位置。
[N] RLENGTH 由match函数所匹配的字符串的长度。
[N] SUBSEP 数组下标分隔符（默认值是34）。

示例：
[root@localhost ~]# df -h
文件系统               容量  已用  可用 已用% 挂载点
devtmpfs               966M     0  966M    0% /dev
tmpfs                  983M     0  983M    0% /dev/shm
tmpfs                  983M  8.7M  974M    1% /run
tmpfs                  983M     0  983M    0% /sys/fs/cgroup
/dev/mapper/rhel-root   50G  2.0G   49G    4% /
/dev/mapper/rhel-home   67G  511M   67G    1% /home
/dev/nvme0n1p1        1014M  156M  859M   16% /boot
tmpfs                  197M     0  197M    0% /run/user/0
/dev/sr0               7.4G  7.4G     0  100% /mnt
[root@localhost ~]# df -h | awk 'NR==2{print $2}'
966M
 //NR==number；NR参数代表的是第几行

[root@localhost ~]# df -h | awk 'NR==4{print NF}'
6
[root@localhost ~]# df -h | awk 'NR==5{print $NF}'
/sys/fs/cgroup
 //NF代表是最后一列,是一个数字

[root@localhost ~]# df -h | awk 'NR==4{print $(NF-3)}'
8.7M

• awk运算与判断

运算符	描述
+ -	加，减
* / &	乘，除与求余
+ - !	一元加，减和逻辑非
^ ***	求幂
++ --	增加或减少，作为前缀或后缀

例：

awk 'BEGIN{a="b";print a++,++a;}'
0 2

2. sed

• sed介绍
  sed是一种流编辑器，它是文本处理中非常中的工具，能够完美的配合正则表达式使用

• 命令格式
  sed [options] 'command' file

• 选项

sed —— 处理行的内容
    命令
        s 替换指定字符   （替换）
        c 把选定的行改为新的文本 (修改)
        a 在当前行下面插入文本 （追加）
        d 删除，删除选择的行    
        
　　　　　g 表示行内全面替换
        -r 使用拓展正则表达式
         
拓展
    sed -i 's/字符串/替换的字符串/g' 文件名	
	sed '数字1s(c/a)/字符串/替换的字符串/g' 文件名
	sed '数字s(c/a)/子符串/替换的字符串/数字' 文件名
		（前一个数字代表第几行，后面一个数字代表第几个字符串）

　

• 示例

[root@localhost ~]# cat test 
root:x:0:0:root:/root:/bin/bash
bin:x:1:1:bin:/bin:/sbin/nologin
daemon:x:2:2:daemon:/sbin:/sbin/nologin

[root@localhost ~]# sed '1s/root/toor/g' test 
toor:x:0:0:toor:/toor:/bin/bash
bin:x:1:1:bin:/bin:/sbin/nologin
daemon:x:2:2:daemon:/sbin:/sbin/nologin

[root@localhost ~]# sed '1s/root/toor/1' test 
toor:x:0:0:root:/root:/bin/bash
bin:x:1:1:bin:/bin:/sbin/nologin
daemon:x:2:2:daemon:/sbin:/sbin/nologin

[root@localhost ~]# sed '1s/root/toor/3' test 
root:x:0:0:root:/toor:/bin/bash
bin:x:1:1:bin:/bin:/sbin/nologin
daemon:x:2:2:daemon:/sbin:/sbin/nologin

[root@localhost ~]# sed -i 's/root/toor/g' test 
[root@localhost ~]# cat test 
toor:x:0:0:toor:/toor:/bin/bash
bin:x:1:1:bin:/bin:/sbin/nologin
daemon:x:2:2:daemon:/sbin:/sbin/nologin

[root@localhost ~]# sed '1awangqiang' test 
toor:x:0:0:toor:/toor:/bin/bash
wangqiang
bin:x:1:1:bin:/bin:/sbin/nologin
daemon:x:2:2:daemon:/sbin:/sbin/nologin

[root@localhost ~]# sed '1a   wangqiang' test 
toor:x:0:0:toor:/toor:/bin/bash
   wangqiang
bin:x:1:1:bin:/bin:/sbin/nologin
daemon:x:2:2:daemon:/sbin:/sbin/nologin

3. grep

• grep介绍
  grep是一种强大的文本搜索工具，它能使用正则表达式搜索文本，并把匹配的行打印出来

• grep命令格式

grep command file_name
或者
grep file_name3、grep常用选项

• grep常用选项

-v   //反转查找
-E   //将范本样式为延伸的普通表示法来使用，意味着使用能使用扩展正则表达式
-l   //列出文件内容符合指定的范本样式的文件名称
-L   //列出文件内容不符合指定的范本样式的文件名称
f<范本文件>   //指定范本文件，其内容有一个或多个范本样式，让grep查找符合范本条件的文件内容，格式为每一列的范本样式

• 示例

[root@localhost ~]# netstat -tunlp
Active Internet connections (only servers)
Proto Recv-Q Send-Q Local Address           Foreign Address         State       PID/Program name    
tcp        0      0 0.0.0.0:22              0.0.0.0:*               LISTEN      1083/sshd           
tcp6       0      0 :::22                   :::*                    LISTEN      1083/sshd           
udp        0      0 0.0.0.0:68              0.0.0.0:*                           1588/dhclient       
[root@localhost ~]# netstat -tunlp | grep 22
tcp        0      0 0.0.0.0:22              0.0.0.0:*               LISTEN      1083/sshd           
tcp6       0      0 :::22                   :::*                    LISTEN      1083/sshd