linux学习35 压缩工具及shell脚本编程实战应用

一、回顾

　　1、RAID：level

　　2、LVM：volume

　　3、btrfs：了解

二、压缩和解压缩工具和bash脚本编程

　　1、压缩比：文件压缩前与压缩后大小的比例

　　2、常见的压缩和解压缩工具

　　3、压缩的目的： 拿时间换空间

　　　　CPU的时间 ---> 磁盘空间

　　4、常见的压缩工具和解压缩工具

　　　　a、早期压缩和解压工具：compress/uncompress：压缩后格式为  文件名.Z

　　　　b、gzip/gunzip：：早期压缩工具一直为gzip最火，压缩后格式为：文件名.gz 

　　　　c、bzip2/bunzip2：压缩效率相比于gzip其实并没有太大的提升，甚至在压缩小文件时还不如gzip，因此其并没有撼动gzip的地位。压缩后格式为： 文件名.bz2

　　　　d、xz/unxz  ：这个工具是真正撼动了gzip的地位，并且压缩效率比gzip高的多。其压缩后格式为：文件名.xz

　　　　　　lzma, unlzma, lzcat，压缩后的后缀名为 .lzma

　　　　e、zip/unzip：进行归档的工具

　　　　f、tar，cpio：纯粹的归档工具

三、相应压缩工具的使用

　　1、gzip/gunzip/zcat 

　　　　a、gzip ，压缩后会删除原文件，并且压缩后的文件名称为 原文件名.gz，并且gzip压缩后必须以.gz结尾

　　　　　　gzip [OPTION]...  FILE...

　　　　　　　　-d：解压缩，相当于gunzip；

[root@node1 tmp]# ls -lh messages 
-rw------- 1 root root 296K Feb  2 00:13 messages
[root@node1 tmp]# gzip messages 
[root@node1 tmp]# ls -lh messages.gz 
-rw------- 1 root root 42K Feb  2 00:13 messages.gz
[root@node1 tmp]# gzip -d messages.gz
[root@node1 tmp]# ls -lh |grep mess
-rw------- 1 root root 296K Feb  2 00:13 messages

　　　　　　　　-#：指定压缩比，默认是6；数字越大压缩比越大，一般选择默认的就好

　　　　　　　　-c：将压缩结果输出至标准输出，通常使用如下方式

　　　　　　　　　　gzip -c <FILE> /PATH/TO/SOMEFILE.gz

[root@node1 tmp]# ll |grep message
-rw------- 1 root root 302162 Feb  2 00:13 messages
[root@node1 tmp]# gzip -c messages > messages.gz
[root@node1 tmp]# ll |grep message
-rw------- 1 root root 302162 Feb  2 00:13 messages
-rw-r--r-- 1 root root  42943 Feb  2 00:37 messages.gz

[root@node1 tmp]# gzip messages 
[root@node1 tmp]# ls -lh |grep message
-rw------- 1 root root 42K Feb  2 00:13 messages.gz

　　　　b、gunzip，解压缩后会删除压缩文件只剩下解压后的文件

[root@node1 tmp]# gunzip messages.gz 
[root@node1 tmp]# ls -lh |grep message
-rw------- 1 root root 296K Feb  2 00:13 messages

　　　　c、zcat，查看压缩后的文件，如果直接用cat查看压缩后的文件直接会乱码

[root@node1 tmp]# zcat messages.gz

　　2、 bzip2/bunzip2/bzcat

　　　　a、bzip2，压缩后也会删除原文件

[root@node1 tmp]# ls -lh |grep mess
-rw------- 1 root root 296K Feb  2 00:13 messages
[root@node1 tmp]# bzip2 messages 
[root@node1 tmp]# ls -lh |grep mess
-rw------- 1 root root 27K Feb  2 00:13 messages.bz2

　　　　　　bzip2 [OPTION]... FILE... 

　　　　　　　　-d：解压缩

[root@node1 tmp]# bzip2 -d messages.bz2 
[root@node1 tmp]# ls -lh |grep mess
-rw------- 1 root root 296K Feb  2 00:13 messages

　　　　　　　　-#：指定压缩比，范围为1-9，默认为6，数字越大，压缩比越大

　　　　　　　　-k：keep，保留原文件

[root@node1 tmp]# ls -lh |grep mess
-rw------- 1 root root 296K Feb  2 00:13 messages
[root@node1 tmp]# bzip2 -k messages 
[root@node1 tmp]# ls -lh |grep mess
-rw------- 1 root root 296K Feb  2 00:13 messages
-rw------- 1 root root  27K Feb  2 00:13 messages.bz2

　　　　b、bzcat，查看压缩后的文件

　　3、xz/unxz/xzcat

　　　　lzma, unlzma, lzcat

　　　　a、xz ：压缩后也会删除原文件

　　　　　　xz [OPTION]...  FILE...

　　　　　　　　-d：解压缩

[root@node1 tmp]# ls -lh |grep mess
-rw------- 1 root root 296K Feb  2 00:13 messages
[root@node1 tmp]# xz messages 
[root@node1 tmp]# ls -lh |grep mess
-rw------- 1 root root 22K Feb  2 00:13 messages.xz
[root@node1 tmp]# xz -d messages.xz 
[root@node1 tmp]# ls -lh |grep mess
-rw------- 1 root root 296K Feb  2 00:13 messages

　　　　　　　　-#：指定压缩比，默认为6，数字越大压缩比越大

　　　　　　　　-k：保留原文件

[root@node1 tmp]# ls -lh |grep mess
-rw------- 1 root root 296K Feb  2 00:13 messages
[root@node1 tmp]# xz -k messages 
[root@node1 tmp]# ls -lh |grep mess
-rw------- 1 root root 296K Feb  2 00:13 messages
-rw------- 1 root root  22K Feb  2 00:13 messages.xz

　　　　b、xzcat，查看压缩后的文件

　　4、上述三款工具只支持压缩文件不支持压缩目录。如果我们要对目录压缩我们要对其进行归档操作。归档也就是将多个文件合并成一个文件。归档后其不但不会减小文件大小反而会增加文件大小，因此归档后还需要对归档文件进行压缩操作。

　　　　a、归档一般对linux来说有两个，tar和cpio，不过cpio用的比较少。

　　5、tar：归档，不会删除原文件

　　　　　　tar [OPTION]... FILE...

　　　　a、创建归档，需要同时使用-f选项指明是哪个文件

　　　　　　-c -f /PATH/TO/SOMEFILE.tar  FILE...

[root@node1 tmp]# ls /tmp/test/
boot.log  functions  messages  vmware-vmsvc.log  yum.log
[root@node1 tmp]#cd test && tar -cf /tmp/mylog.tar *.log

[root@node1 test]# du -sh /tmp/mylog.tar 
332K    /tmp/mylog.tar

　　　　b、展开归档，需要同时使用-f 选项指明是哪个文件

　　　　　　-x -f   /PATH/FROM/SOMEFILE.tar

[root@node1 tmp]# ls
fstab    mbr.bak   mylog.tar                                                                systemd-private-037a2534ce0f4100a971c6afaaab76f5-vmtoolsd.service-jnxVZd  tmp
fstab.2  messages  systemd-private-037a2534ce0f4100a971c6afaaab76f5-vgauthd.service-12T5DU  test
[root@node1 tmp]# tar -xf mylog.tar 
[root@node1 tmp]# ls
boot.log  fstab.2  messages   systemd-private-037a2534ce0f4100a971c6afaaab76f5-vgauthd.service-12T5DU   test  vmware-vmsvc.log
fstab     mbr.bak  mylog.tar  systemd-private-037a2534ce0f4100a971c6afaaab76f5-vmtoolsd.service-jnxVZd  tmp   yum.log

　　　　　　-C，展开至指定路径

　　　　　　-xf /PATH/FROM/SOMEFILE.tar -C /PAtH/TO/SOMEDIR

[root@node1 tmp]# mkdir newtest
[root@node1 tmp]# tar -xf mylog.tar -C newtest/
[root@node1 tmp]# ls newtest/
boot.log  vmware-vmsvc.log  yum.log

　　　　c、查看归档文件中的文件列表，需要同时使用-f选项指明是哪个文件

　　　　　　-tf  /PATH/TO/SOMEFILE.tar

[root@node1 tmp]# tar -tf mylog.tar 
boot.log
vmware-vmsvc.log
yum.log

　　6、tar和压缩命令结合，归档完以后通常需要压缩，结合此前的压缩工具，就能实现压缩多个文件了；

 　　　　a、归档并压缩

　　　　　　1)、-z：gzip

　　　　　　　　-zcf  /PATH/TO/SOMEFILE.tar.gz  FILE...  ：创建归档并压缩

　　　　　　　　-zxf  /PATH/TO/SOMEFILE.tar.gz ：解压缩并展开归档，（也可以省略 -z选项，因为tar工具会自动识别）

[root@node1 tmp]# tar -zcf /tmp/mylog2.tar.gz test
[root@node1 tmp]# rm -rf test/
[root@node1 tmp]# ls
fstab    mbr.bak   mylog2.tar.gz  systemd-private-037a2534ce0f4100a971c6afaaab76f5-vgauthd.service-12T5DU   tmp
fstab.2  messages  newtest        systemd-private-037a2534ce0f4100a971c6afaaab76f5-vmtoolsd.service-jnxVZd
[root@node1 tmp]# tar -zxf mylog2.tar.gz 
[root@node1 tmp]# ls test/
boot.log  functions  messages  vmware-vmsvc.log  yum.log

　　　　　　2）、-j：bzip2

　　　　　　　　-jcf  /PATH/TO/SOMEFILE.tar.bz2  FILE...  ：创建归档并压缩

　　　　　　　　-jxf  /PATH/TO/SOMEFILE.tar.bz2 ：解压缩并展开归档，（也可以省略 -j选项，因为tar工具会自动识别）

 　　　　　　3）、大写的j，即J：xz

　　　　　　　　-Jcf  /PATH/TO/SOMEFILE.tar.xz  FILE...  ：创建归档并压缩

　　　　　　　　-Jxf  /PATH/TO/SOMEFILE.tar.xz：解压缩并展开归档，（也可以省略 -J选项，因为tar工具会自动识别）

 　　7、zip/unzip：目前为止最为通用的一个压缩工具，linux，windows，mac都通用，不过其压缩比是有限的，其自身既能归档又能压缩。

　　　　a、zip。创建后的文件名为  文件名.zip

　　　　　　zip  -r  压缩后文件名.zip  压缩文件或文件夹  （-r为递归压缩）

　　　　b、unzip：解压

 四、练习

　　1、下载redis-3.0.2.tar.gz，展开至/tmp目录；而后再重新创建压缩为xz格式

 五、shell编程

　　1、read：用户交互：即通过键盘输入数据，从而完成变量赋值操作。

　　　　a、他能将输入的变量自动分割

[root@node1 tmp]# read a b
1 2
[root@node1 tmp]# echo $a
1
[root@node1 tmp]# echo $b
2

　　　　b、若输入的数据多余变量参数个数那么会将后面的所有值赋值给最后一个变量

[root@node1 tmp]# read a b c
1 2 3 4 5 6
[root@node1 tmp]# echo $a
1
[root@node1 tmp]# echo $b
2
[root@node1 tmp]# echo $c
3 4 5 6

　　　　c、read -p，给一个提示符

[root@node1 /]# read -p "input your name:" name
input your name:wohaoshuai
[root@node1 /]# echo $name
wohaoshuai

　　　　d、-t ，超时时间，比如我们设置超时时间为5秒，即5秒过后未输入就超时了

[root@node1 /]# read -t 5 -p "input your name:" name
input your name:[root@node1 /]#

　　　　e、编程实践

[root@node1 script]# cat adduser2.sh 
#!/bin/bash
read -p "Enter a username: " name
[ -z "${name}" ] && echo "a username is needed." && exit 2

read -p "Enter password for $name,[password] " password
[ -z "$password" ] && password="password"

if id $name &> /dev/null; then
    echo "$name exists."
else 
    useradd $name 
    echo "$password " |passwd --stdin $name &> /dev/null 
    echo "Add user $name Finished"
fi

[root@node1 script]# bash adduser2.sh 
Enter a username: zhangsan
Enter password for zhangsan,[password] 
Add user zhangsan Finished

　　2、检查脚本是否有语法错误：bash -n

[root@node1 script]# bash -n adduser2.sh 

　　3、调试模式：bash -x

[root@node1 script]# bash -x adduser2.sh 
+ read -p 'Enter a username: ' name
Enter a username: zhangsan
+ '[' -z zhangsan ']'
+ read -p 'Enter password for zhangsan,[password] ' password