Linux Shell入门

一、shell之环境变量

shell是一门解释性语言，与C, Java 不同，变量的使用，不需要提前进行定义。shell的变量分为：局部变量和环境变量。局部变量只在shell脚本中使用，而环境变量可以在创建他们的shell及其派生出的子进程中使用。

shell中有一些系统变量，可以直接引用，如：

$0:  当前程序的名称

$n: 当前程序的第n个参数

$*: 当前程序的所有参数

$#: 当前程序的参数个数

$?: 命令或程序执行完后的状态，一般返回0代表执行成功

$UID: 当前用户的ID

$PWD: 当前所在的目录

echo 颜色

二、 shell 编程基本语法

1. if else

逻辑运算符：

-f 判断文件是否存在：    if [ -f /path/filename ]; then

-d 判断目录是否存在：   if [ -d /path/filename ]; then

-eq 等于，用于整数比较

-z 判断是否为空字符串

#!/bin/bash
if (($1 > $2));then
    echo "Greater"
else
    echo "Smaller"
fi

#!/bin/bash
DIR=/root/DTV/TestDirectory 
if [ -d $DIR ]; then
    echo -e "33[32m This $DIR exist33[0m"   #####033[32mtest033[0m   代表给test加颜色
else
    echo -e "33[32m---------------33[1m"    #####033[32m    033[0m   代表从本行开始下面全部加颜色                         
    echo "$DIR will be created"
    mkdir -p $DIR
fi

#!/bin/bash                                          
BACKUP=/root/backup/`date +%Y-%m-%d`   ##将date返回的日期格式化成year-month-day 
#第一步，验证用户是否是root
if [[ $UID -eq 0 ]]; then
    echo "yes, it's root"
else
    echo "please use root to login"
fi
#第二步，检查当日目录是否存在，否则创建 
if [ ! -d $BACKUP ]; then
    echo -e "33[32m backup directory of this day not exist,will creat33[0m"
    mkdir -p $BACKUP
else
    echo "backup directroy is existed"
fi
cp /var/log/auth.log $BACKUP/auth.log.`date +%H-%M-%S`
要求： 每日以root用户执行备份/var/log/auth.log到/root/backup/下面,并命名带上时间戳

#!/bin/bash
PACKAGENAME=httpd-2.4.46.tar.gz
PARENTSDIR=/tmp
SONDIR=${PACKAGENAME:0:12}
DIR=$PARENTSDIR/$SONDIR
function checkDir()
{
    if [ ! -d $PARENTSDIR/$1 ]; then
        echo "33[32m Dir isn't exist,will create33[0m"
        mkdir -p $PARENTSDIR/$SONDIR
    else
        echo "33[32m Dir is existed33[0m"
    fi
}

checkDir $SONDIR

wget http://mirrors.cnnic.cn/apache/httpd/$PACKAGENAME -P $DIR && cd $DIR && tar -xvf $PACKAGENAME && cd ${PACKAGENAME:0:12}&& ./configure --prefix=$DIR/

if [ $? -eq 0 ]; then
    make && make install
    echo "33[32m Successfully 33[0m"
else
    echo "33[32m Failed 33[0m"
fi

2. 字符串操作

root@test:~# a=a1b2c3
root@test:~# echo ${a:0:4}        ######0表示从左边第一个字符开始，4代表字符的总个数
a1b2

3. 循环

　　for 循环

#!/bin/bash
j=0
for((i=1;i<100;i++))
do
    j=`expr $j + $i`
done
echo $j

#!/bin/bash
FILES=$*
if [ -z $* ]; then
    echo -e "33[32musage: {$0 Director|filesname}33[0m"
    exit
fi 
for i in `echo 192.168.0.2 127.0.0.1 10.0.0.1`
do
    scp -p $FILES $i:/tmp/
done
root@test:~/shell_program# bash test.sh
usage: {test.sh Director|filesname}
root@test:~/shell_program# bash test.sh 1 2 3
test.sh: line 4: [: too many arguments
1                                                                                             100%    0     0.0KB/s   00:00
2                                                                                             100%    0     0.0KB/s   00:00
3                                                                                             100%    0     0.0KB/s   00:00
1                                                                                             100%    0     0.0KB/s   00:00
2                                                                                             100%    0     0.0KB/s   00:00
3                                                                                             100%    0     0.0KB/s   00:00
1                                                                                             100%    0     0.0KB/s   00:00
2                                                                                             100%    0     0.0KB/s   00:00
3                                                                                             100%    0     0.0KB/s   00:00

　　while循环

#!/bin/bash                                                                                                                     
while read line
do
    echo $line
done < /var/log/auth.log

　　case 循环

#!/bin/bash

case $1 in
        apache)
        echo -e "33[32m Installing apache server33[0m"
        apt-get -y install apache2
#       tar -xvf apache.tar.gz;cd httpd; ./configure &&make &&make install
        ;;  

        mysql)
        echo -e "33[32m Installing mysql server33[0m"
        apt-get -y install mysql-server 
        ;;  

        php)
#       apt-get install ....
        ;;  

        *)  
        echo -e "33[32m Usage {$0 apache|mysql|php}33[0m"
        ;;  
esac

4. select 选择

root@test:~/shell_program# select OS in "Centos" "Ubuntu" "Redhat";do echo "Selected System is $OS";done;
1) Centos
2) Ubuntu
3) Redhat
#? 1
Selected System is Centos
#? 3
Selected System is Redhat
#? 2
Selected System is Ubuntu
#? 

#!/bin/bash                                                                                                                     
select SW in "apache安装" "mysql安装" "php安装"
do
    case $SW in
        apache安装) 
        echo -e "33[32m Installing apache server33[0m"
        apt-get -y install apache2
#       tar -xvf apache.tar.gz;cd httpd; ./configure &&make &&make install
        ;;  

        mysql安装) 
        echo -e "33[32m Installing mysql server33[0m"
        apt-get -y install mysql-server 
        ;;  

        php安装) 
        echo -e "33[32m Installing php server33[0m"
#       apt-get install ....
        ;;  

        *)  
        echo -e "33[32m Please input {1|2|3}33[0m"
        ;;  
    esac
done

5. shell之数组

定义：ARRAY=(test1 test2 test3)

引用： ${ARRAY[0]} 

数组所有参数： ${ARRAY[@]}, 将显示所有内容，test1，test2，test3

数组参数个数： ${#ARRAY[@]}, 将显示3

替换数组内某个参数后返回新数组：${ARRAY[@]/test1/test4}

直接删除数组内某个参数：unset ARRAY[2]; 直接在原数删除test3

三、Linux之sed

1. 文本替换

1. 预修改，文件内容先不动
sed 's/oldString/newString/g' test.txt
2. 直接在文件里修改
sed -i 's/oldString/newString/g' test.txt

2. 每一行的行首、行尾添加

1. 在每一行的行首添加"testeString "   ^代表行首
sed 's/^/&testString /g' test.log   
2. 在每一行的行尾添加" testString"    $代表行尾
sed 's/$/& testString /g' test.log  
3. 在第2行的行首添加“testString ”    2s代表第2行
sed '2s/^/&testString /g' test.log

3.  在特定字符串前、后添加

1. 在特定字符串testString前添加 “######”
sed '/testString/#######&' test.log    
2. 在特定字符串testString前一行添加 “######”
sed '/testString/i #######' test.log    
3. 在特定字符串testString后添加 “######”
sed '/testString/&#######' test.log    
4. 在特定字符串testString后一行添加 “######”
sed '/testString/a #######' test.log

4. 打印

1. 打印包含testString的行
sed -n '/testString/p' test.log  
2. 打印第1行
sed -n '1p' test.log
3. 打印1-5行
sed -n '1,5p' test.log
4. 打印第1行和第5行
sed -n '1p;5p' test.log
5. 打印第1行和最后1行
sed -n '1p;$p' test.log

四、Linux之grep

注： grep -E= egrep

正则：

1. 打印以testString开始的行, ^代表开始
grep "^testString" test.log 
2. 打印以testString结束的行, $代表结尾
grep "testString$" test.log
3. 打印包含数字0-5的行
grep "[0-5]" test.log  4. 打印包含字母a-f的行
grep "[a-f]" test.log   
5. 打印以字母a-f开头的行
grep "^[a-f]" test.log 

正则表达举例：

正则匹配ip
root@test:~/shell_program# cat test.log 
10.0.192.10
a.0.182.0
10.0.192.100
123.192.100.1234
10.0.199.
12123.192.100.1234

正确答案：
root@test:~/shell_program# cat test.log | grep -E "^(([0-9]{1,3}.){3}[0-9]{1,3})$" 
10.0.192.10
10.0.192.100

解释：

root@test:~# cat test.log | grep -E "[0-9]"    ##包含0-9
10.0.192.10
a.0.182.0
10.0.192.100
123.192.100.1234
10.0.199.
12123.192.100.1234
root@test:~# cat test.log | grep -E "[0-9]{1,3}"    ##包含1-3个0-9，比如1  10  192
10.0.192.10
a.0.182.0
10.0.192.100
123.192.100.1234
10.0.199.
12123.192.100.1234
root@test:~# cat test.log | grep -E "[0-9]{1,3}."    ##包含1-3个0-9后，接着是一个.   注：正则里面.的表达：   .
10.0.192.10
a.0.182.0
10.0.192.100
123.192.100.1234
10.0.199.
12123.192.100.1234
root@test:~# cat test.log | grep -E "([0-9]{1,3}.){3}"    ##对于1. 或者10. 或者 192.  这样的匹配需要3次
10.0.192.10
10.0.192.100
123.192.100.1234
10.0.199.
12123.192.100.1234
root@test:~# cat test.log | grep -E "([0-9]{1,3}.){3}[0-9]{1,3}"    ##在10.0.192之后，还需要有1-3个0-9
10.0.192.10
10.0.192.100
123.192.100.1234
12123.192.100.1234
root@test:~# cat test.log | grep -E "^(([0-9]{1,3}.){3}[0-9]{1,3})$"    ##以上一步过滤出的表达， 精确匹配，以此种模式开始，并结束。
10.0.192.10
10.0.192.100

五、Linux之awk

1. 指定分隔符为  “.”
awk -F. '{print $2}'
2. awk 倒数第一列
awk '{print $(NF-1)}'
3. awk分割后，同时print附加其他信息
awk '{print "test" $2}'
4. 如果第2列数字大于14，就打印第1,2，最后1列
awk '$2>=14 {print $1 $2 $NF}'

六、Linux之find

举例：  find /var/log/ -maxdepth 2 -type f -size +100M  -exec cp {} /tmp ;

找到/var/log及其下一级目录下，大于100M的文件，拷贝到/tmp下

只查找当前目录      　 find . -maxdepth 1
最多查找到下一级目录　　 find . -maxdepth 2
查找文件       　  　　find . -type f 
查找目录      　　　   find . -type d
30天之前的      　　　 find . -mtime +30
2天以内的       　　   find . -mtime -2
大于200M的      　　  find . -size +200M
找到*.log后删除       find . -type f -name *.log -exec rm {} ;
                    find . -type f -name *.log |xargs rm {} ; 

 七、脚本中有错误行，跳出

set -eu

end