Shell 编程

linux中shell变量$#,$@,$0,$1,$2的含义解释:
变量说明:
$$
Shell本身的PID（ProcessID）
$!
Shell最后运行的后台Process的PID
$?
最后运行的命令的结束代码（返回值）
$-
使用Set命令设定的Flag一览
$*
所有参数列表。如"$*"用「"」括起来的情况、以"$1 $2 … $n"的形式输出所有参数。
$@
所有参数列表。如"$@"用「"」括起来的情况、以"$1" "$2" … "$n" 的形式输出所有参数。
$#
添加到Shell的参数个数
$0
Shell本身的文件名
$1～$n
添加到Shell的各参数值。$1是第1参数、$2是第2参数…。

未完

http://hi.baidu.com/higkoo/item/d57fdbea71fb5b0d8d3ea83b

资源暂时不可用（Resource temporarily unavailable）

大早Hadoop的NameNode无法用hadoop用户登录，ssh –vvv 提示远程无Session资源。 

用root登录进去查看hadoop用户的资源信息：

1 2	# su -m -c 'ulimit -a' hadoop   su: 无法设置用户ID: 资源暂时不可用

按经验看就是hadoop用户开了太多线程，达到系统最大限制（默认1024）

1 2	# ps –eL | wc -l   2219

总线程数超过1024，有可能是线程满的问题。不过这台服务器已经调整过用户线程限制了，为何还会出现这个问题呢？ 

用户环境变量，/etc/profile.d/ulimit.sh ：

1 2 3 4

* soft nproc 10000   * hard nproc 10000   * soft nofile 1048576   * hard nofile 1048576

 验证一下，结果还是设置无效：

1 2	# su -m -c 'ulimit -u' nobody   1024

 最后确定是由于CentOS 6.4版本新增了限制配置 /etc/security/limits.d/90-nproc.conf ，以保证root用户无限制。此配置会覆盖主配置文件的设定：

1 2 3 4 5 6

# Default limit for number of user's processes to prevent   # accidental fork bombs.   # See rhbz #432903 for reasoning.        *          soft    nproc     1024   root       soft    nproc     unlimited

OK，问题就此定位！

解决办法：删除 /etc/security/limits.d/90-nproc.conf 文件中1024那一行。

注意：不推荐删除此文件，一方面root无限制的配置丢了；另一方面如果此配置文件不存在，执行系统升级时可能又被写入；文件存在时，升级系统时，即使此文件需要更新，也不会被覆盖而是生成90-nproc.conf.rpmnew。

http://www.cnblogs.com/qq78292959/archive/2012/05/08/2490443.html

#####################################################

-d file　　　　　文件为目录为真

-s file　　　　　文件大小非0时为真
[ -f "somefile" ] ：判断是否是一个文件
[ -x "/bin/ls" ] ：判断/bin/ls是否存在并有可执行权限
[ -n "$var" ] ：判断$var变量是否有值
[ "$a" = "$b" ] ：判断$a和$b是否相等    
-r file　　　　　用户可读为真
-w file　　　　　用户可写为真
-x file　　　　　用户可执行为真
-f file　　　　　文件为正规文件为真
-d file　　　　　文件为目录为真
-c file　　　　　文件为字符特殊文件为真
-b file　　　　　文件为块特殊文件为真
-s file　　　　　文件大小非0时为真
-t file　　　　　当文件描述符(默认为1)指定的设备为终端时为真

////////////////////////////////////////////////////////////////////////////////////////

Shell基本语法:
    像高级程序设计语言一样, Shell也提供说明和使用变量的功能.
对Shell来讲，所有变量的取值都是一个字串，Shell程序采用$var的
形式来引用名为var的变量的值。

Shell有以下几种基本类型的变量:
（1）Shell定义的环境变量:
    Shell 在开始执行时就已经定义了一些和系统的工作环境有关的
变量，用户还可以重新定义这些变量，常用的Shell环境变量有:
    HOME:    用于保存注册目录的完全路径名.
PATH:    用于保存用冒号分隔的目录路径名,Shell将按PATH变量
中给出的顺序搜索这些目录, 找到的第一个与命令名称一致的可执行
文件将被执行.
    TERM:    终端的类型.
    UID:    当前用户的识别字, 取值是由数位构成的字串.
    PWD:    当前工作目录的绝对路径名，该变量的取值随cd命令的
使用而变化。
    PS1:    主提示符, 在特权用户下, 默认的主提示符是#,在普通
用户下, 默认的主提示符是$.
    PS2:    在Shell接收用户输入命令的过程中,如果用户在输入行
的末尾输入`\` 然后回车, 或者当用户按回车键时Shell判断出用户输
入的命令没有结束时, 就显示这个辅助提示符, 提示用户继续输入命
令的其余部分, 默认的辅助提示符是>。

（2）用户定义的变量：
    用户可以按照下面的语法规则定义自己的变量:
    变量名=变量值
    要注意的一点是, 在定义变量时, 变量名前不应加符号$,在引用
变量的内容时则应在变量名前加$; 在给变量赋值时,等号两边一定不
能留空格, 若变量中本身就包含了空格，则整个字串都要用双引号括
起来.
    在编写Shell程序时, 为了使变量名和命令名相区别,建议所有的
变量名都用大写字母来表示.
    有时我们想要在说明一个变量并对它设置为一个特定值后就不在
改变它的值时，可以用下面的命令来保证一个变量的只读性：
    readonly 变量名
    在任何时候, 创建的变量都只是当前Shell的局部变量,所以不能
被Shell运行的其他命令或Shell程序所利用, 而export命令可以将一
个局部变量提供给Shell执行的其他命令使用, 其格式为:
    export 变量名
也可以在给变量赋值的同时使用export命令:
    export 变量名=变量值
使用 export说明的变量, 在Shell以后运行的所有命令或程序中都可
以访问到.
可以用unset清除变量值, 格式如下:
unset 变量名

（3）位置参数:
    位置参数是一种在调用 Shell程序的命令行中按照各自的位置决
定的变量, 是在程序名之后输入的参数. 位置参数之间用空格分隔,
Shell取第一个位置参数替换程序文件中的$1, 第二个替换$2,依次类
推. $0是一个特殊的变量, 它的内容是当前这个Shell程序的文件名,
所以, $0不是一个位置参数, 在显示当前所有的位置参数时是不包括
$0的.

（4）预定义变量:
    预定义变量和环境变量相类似,也是在Shell一开始时就定义了的
变量. 所不同的是, 用户只能根据Shell的定义来使用这些变量,而不
能重定义它. 所有预定义变量都是由$符和另一个符号组成的,常用的
Shell预定义变量有:
    $#    位置参数的数量.
    $*    所有位置参数的内容.
    $?    命令执行后返回的状态.
    $$    当前进程的进程号.
    $!    后台运行的最后一个进程号.
    $0    当前执行的进程名.
注意:
    $?    用于检查上一个命令执行是否正确. （在Linux中,命令退出
状态为0表示该命令正确执行, 任何非0值表示命令出错.）
    $$    变量最常见的用途是用做暂存文件的名字以保证暂存文件不
会重复.

（5）参数置换的变量:
    Shell 提供了参数置换功能以便用户可以根据不同的条件来给变
量赋不同的值. 参数置换的变量有4种,这些变量通常与某一个位置参
数相联系, 根据指定的位置参数是否已经设置来决定变量的取值, 它
们的语法和功能分别如下.
    a. 变量=${参数-word}: 如果设置了参数, 则用参数的值置换变
量的值, 否则用word置换. 即这种变量的值等于某一个参数的值, 如
果该参数没有设置, 则变量就等于word的值.
    b. 变量=${参数=word}: 如果设置了参数, 则用参数的值置换变
量的值, 否则把变量设置成word, 然后再用word替换参数的值. 注意
位置参数不能用于这种方式,因为在Shell程序中不能为位置参数赋值.
    c. 变量=${参数?word}: 如果设置了参数，则用参数的值置换变
量的值, 否则就显示word并从Shell中退出, 如果省略了word,则显示
标准信息. 这种变量要求一定等于某一个参数的值. 如果该参数没有
设置, 就显示一个信息, 然后退出, 因此这种方式常用于出错指示.
    d. 变量=${参数+word}: 如果设置了参数，则用word置换变量,
否则不进行置换.
    所有这4种形式中的"参数"既可以是位置参数,也可以是另一个变
量，只是用位置参数的情况比较多.



Shell程序设计的流程控制:
    和其他高级程序设计语言一样,Shell提供了用来控制程序执行流
程的命令, 包括条件分支和循环结构, 用户可以用这些命令创建非常
复杂的程序。
    与传统语言不同的是, Shell用于指定条件值的不是布尔运算式,
而是命令和字串。

1. 测试命令
    test命令用于检查某个条件是否成立, 它可以进行数值, 字符和
文件3个方面的测试, 其测试符和相应的功能分别如下:
（1）数值测试:
    -eq    等于则为真
    -ne    不等于则为真
    -gt 大于则为真
    -ge 大于等于则为真
    -lt 小于则为真
    -le 小于等于则为真

（2）字串测试:
    =    等于则为真
    !=    不相等则为真
    -z字串 判断字符串是否为空
    -n字串 判断字符串是否不为空

（3）文件测试:
    -e文件名 如果文件存在则为真
    -r文件名 如果文件存在且可读则为真
    -w文件名 如果文件存在且可写则为真
    -x文件名 如果文件存在且可执行则为真
    -s文件名 如果文件存在且至少有一个字符则为真
    -d文件名 如果文件存在且为目录则为真
    -f文件名 如果文件存在且为普通文件则为真
    -c文件名 如果文件存在且为字符型特殊文件则为真
    -b文件名 如果文件存在且为块特殊文件则为真

    另外, Linux还提供了与（!）, 或（-o）, 非（-a）三个逻辑操
作符, 用于将测试条件连接起来, 其优先顺序为: !最高, -a次之,-o
最低。
    同时, bash也能完成简单的算术运算, 格式如下:
    $[expression]
例如:
    var1=2
    var2=$[var1*10+1]
则var2的值为21.

2. if条件语句
    Shell程序中的条件分支是通过if条件语句来实现的,其一般格式
为:
    if 条件命令串
    then
        条件为真时的命令串
    else
        条件为假时的命令串
    fi

3. for循环
    for循环对一个变量的可能的值都执行一个命令序列,赋给变量的
几个数值既可以在程序内以数值列表的形式提供, 也可以在程序以外
以位置参数的形式提供. for循环的一般格式为:

    for变量名    [in数值列表]
    do
        若干个命令行
    done
    变量名可以是用户选择的任何字串, 如果变量名是var,则在in之
后给出的数值将顺序替换循环命令列表中的$var. 如果省略了in, 则
变量var的取值将是位置参数.对变量的每一个可能的赋值都将执行do
和done之间的命令列表。

4. while和until循环
    while和until命令都是用命令的返回状态值来控制循环的.While
循环的一般格式为:
    while
        若干个命令行1
    do
        若干个命令行2
    done
    只要while的"若干个命令行1"中最后一个命令的返回状态为真,
while循环就继续执行do...done之间的"若干个命令行2".

    until命令是另一种循环结构, 它和while命令相似, 其格式如下
    until
        若干个命令行1
    do
        若干个命令行2
    done

    until循环和 while循环的区别在于: while循环在条件为真时继
续执行循环, 而until则是在条件为假时继续执行循环.
    Shell还提供了true和false两条命令用于创建无限循环结构, 它
们的返回状态分别是总为0或总为非0。

5. case条件选择
    if条件语句用于在两个选项中选定一项, 而case条件选择为用户
提供了根据字串或变量的值从多个选项中选择一项的方法, 其格式如
下:
    case string in
    exp-1)
        若干个命令行1
        ;;
    exp-2)
        若干个命令行2
        ;;
        ……
    *)
        其他命令行
    esac

    Shell通过计算字串string的值, 将其结果依次和运算式exp-1,
exp-2等进行比较, 直到找到一个匹配的运算式为止.如果找到了匹配
项, 则执行它下面的命令直到遇到一对分号(;;)为止.
    在case运算式中也可以使用Shell的通配符("*", "?", "[ ]").
通常用 *作为case命令的最后运算式以便在前面找不到任何相应的匹
配项时执行"其他命令行"的命令.

6. 无条件控制语句break和continue
    break用于立即终止当前循环的执行,而contiune用于不执行循环
中后面的语句而立即开始下一个循环的执行. 这两个语句只有放在do
和done之间才有效。

7. 函数定义
    在Shell中还可以定义函数. 函数实际上也是由若干条Shell命令
组成的, 因此它与Shell程序形式上是相似的,不同的是它不是一个单
独的进程, 而是Shell程序的一部分. 函数定义的基本格式为:
    functionname
    {
        若干命令行
    }
    调用函数的格式为: functionname param1 param2...
    Shell函数可以完成某些例行的工作,而且还可以有自己的退出状
态, 因此函数也可以作为if, while等控制结构的条件.
    在函数定义时不用带参数说明, 但在调用函数时可以带有参数,
此时Shell将把这些参数分别赋予相应的位置参数$1, $2, ...及$*.

8. 命令分组
    在Shell中有两种命令分组的方法: ()和{}.
    前者当Shell执行()中的命令时将再创建一个新的子进程,然后这
个子进程去执行圆括弧中的命令. 当用户在执行某个命令时不想让命
令运行时对状态集合 (如位置参数, 环境变量, 当前工作目录等) 的
改变影响到下面语句的执行时, 就应该把这些命令放在圆括弧中, 这
样就能保证所有的改变只对子进程产生影响, 而父进程不受任何干扰.
    {}用于将顺序执行的命令的输出结果用于另一个命令的输入( 管
道方式 ).
    当我们要真正使用圆括弧和花括弧时(如计算运算式的优先顺序)
则需要在其前面加上转义符()以便让Shell知道它们不是用于命令执
行的控制所用.

9. 信号
    trap命令用于在Shell程序中捕捉信号,之后可以有3种反应方式:
    (1) 执行一段程序来处理这一信号.
    (2) 接受信号的默认操作.
    (3) 忽视这一信号.
trap对上面3种方式提供了3种基本形式:
    第一种形式的trap命令在Shell接收到与signal list清单中数值
相同的信号时, 将执行双引号中的命令串.
    trap 'commands' signal-list
    trap "commands" signal-list
为了恢复信号的默认操作, 使用第二种形式的trap命令:
    trap signal-list
第三种形式的trap命令允许忽略信号:
    trap " " signal-list
注意:
    (1) 对信号11(段违例)不能捕捉,因为Shell本身需要捕捉该信号
去进行内存的转储.
    (2) 在trap中可以定义对信号0的处理(实际上没有这个信号),
Shell程序在其终止(如执行exit语句)时发出该信号.
    (3) 在捕捉到signal-list 中指定的信号并执行完相应的命令之
后, 如果这些命令没有将Shell程序终止的话, Shell程序将继续执行
收到信号时所执行的命令后面的命令, 这样将很容易导致 Shell程序
无法终止.
    另外, 在trap语句中, 单引号和双引号是不同的. 当 Shell程序
第一次碰到trap语句时, 将把commands中的命令扫描一遍. 此时若
commands是用单引号括起来的话,那么Shell不会对commands中的变量
和命令进行替换, 否则commands中的变量和命令将用当时具体的值来
替换.

运行Shell程序的方法:
    用户可以用任何编辑程序来编写Shell程序. 因为Shell程序是解
释执行的, 所以不需要编译成目的程序. 按照 Shell编程的惯例, 以
bash为例, 程序的第一行一般为"#!/bin/bash", 其中#表示该行是注
释, 叹号!告诉Shell运行叹号之后的命令并用文档的其余部分作为输
入, 也就是运行/bin/bash并让/bin/bash去执行Shell程序的内容.

执行Shell程序的方法有3种:
    1. sh Shell程序文件名
    这种方法的命令格式为:
    bash Shell程序文件名
    这实际上是调用一个新的bash命令解释程序,而把Shell程序文件
名作为参数传递给它. 新启动的Shell将去读指定的文件,可执行文件
中列出的命令, 当所有的命令都执行完后结束. 该方法的优点是可以
利用Shell调试功能.

    2．sh
    格式为:
    bash< Shell程序名
    这种方式就是利用输入重定向,使Shell命令解释程序的输入取自
指定的程序文件.

    3. 用chmod命令使Shell程序成为可执行的
    一个文件能否运行取决于该文档的内容本身可执行且该文件具有
执行权. 对于Shell程序, 当用编辑器生成一个文件时,系统赋予的许
可权都是644(rw-r-r--), 因此, 当用户需要运行这个文件时,只需要
直接键入文件名即可.

    在这3种运行Shell程序的方法中, 最好按下面的方式选择: 当刚
创建一个Shell程序, 对它的正确性还没有把握时,应当使用第一种方
式进行调试. 当一个Shell程序已经调试好时,应使用第三种方式把它
固定下来, 以后只要键入相应的文件名即可, 并可被另一个程序所调
用.

    4. bash程序的调试
    在编程过程中难免会出错, 有的时候, 调试程序比编写程序花费
的时间还要多, Shell程序同样如此.
    Shell程序的调试主要是利用bash命令解释程序的选择项. 调用
bash的形式是:
    bash -选择项 Shell程序文件名
几个常用的选择项是:
    -e    如果一个命令失败就立即退出
    -n    读入命令但是不执行它们
    -u    置换时把未设置的变量看做出错
    -v    当读入Shell输入行时把它们显示出来
    -x    执行命令时把命令和它们的参数显示出来
    上面的所有选项也可以在Shell程序内部用"set -选择项"的形式
引用, 而"set +选择项"则将禁止该选择项起作用.如果只想对程序的
某一部分使用某些选择项时, 则可以将该部分用上面两个语句包围起
来.

    (1) 未置变量退出和立即退出
    未置变量退出特性允许用户对所有变量进行检查, 如果引用了一
个未赋值的变量就终止Shell程序的执行. Shell通常允许未置变量的
使用, 在这种情况下, 变量的值为空. 如果设置了未置变量退出选择
项, 则一旦使用了未置变量就显示错误信息, 并终止程序的运行. 未
置变量退出选择项为-u.
    当Shell运行时, 若遇到不存在或不可执行的命令,重定向失败或
命令非正常结束等情况时, 如果未经重新定向, 该出错信息会显示在
终端屏幕上, 而Shell程序仍将继续执行. 要想在错误发生时迫使
Shell程序立即结束, 可以使用-e选项将Shell程序的执行立即终止.

    (2) Shell程序的跟踪
    调试Shell程序的主要方法是利用Shell命令解释程序的-v或-x选
项来跟踪程序的执行. -v选择项使Shell在执行程序的过程中,把它读
入的每一个命令行都显示出来,而-x选择项使Shell在执行程序的过程
中把它执行的每一个命令在行首用一个+加上命令名显示出来.并把每
一个变量和该变量所取的值也显示出来. 因此,它们的主要区别在于:
在执行命令行之前无-v, 则显示出命令行的原始内容, 而有-v时则显
示出经过替换后的命令行的内容.
    除了使用Shell的-v和-x选择项以外, 还可以在Shell程序内部采
取一些辅助调试的措施. 例如,可以在Shell程序的一些关键地方使用
echo命令把必要的信息显示出来,它的作用相当于C语言中的printf语
句, 这样就可以知道程序运行到什么地方及程序目前的状态.

bash的内部命令:
    bash命令解释套装程序包含了一些内部命令. 内部命令在目录列
表时是看不见的, 它们由Shell本身提供. 常用的内部命令有: echo,
eval, exec, export, readonly, read, shift, wait和点(.). 下面
简单介绍其命令格式和功能.

1. echo
命令格式:    echo arg
功能:        在屏幕上显示出由arg指定的字串。

2. eval
命令格式:    eval args
功能:        当Shell程序执行到eval语句时,Shell读入参数args,并将
        它们组合成一个新的命令，然后执行.

3. exec
命令格式:    exec命令参数
功能:        当Shell执行到exec语句时,不会去创建新的子进程而是转
        去执行指定的命令, 当指定的命令执行完时该进程 (也就
        是最初的Shell) 就终止了, 所以Shell程序中exec后面的
        语句将不再被执行.

4. export
命令格式:    export变量名 或：export变量名=变量值
功能:        Shell可以用export把它的变量向下带入子Shell, 从而
            让子进程继承父进程中的环境变量. 但子Shell不能用
            export把它的变量向上带入父Shell.
注意:        不带任何变量名的export语句将显示出当前所有的
            export变量。

5. readonly
命令格式:    readonly变量名
功能:        将一个用户定义的Shell变量标识为不可变.不带任何参
            数的 readonly命令将显示出所有只读的Shell变量。

6. read
命令格式:    read变量名表
功能:        从标准输入设备读入一行,分解成若干字, 赋值给Shell
            程序内部定义的变量.

7. shift语句
功能:        shift 语句按如下方式重新命名所有的位置参数变量,
            即$2成为$1, $3成为$2...在程序中每使用一次shift语
            句,都使所有的位置参数依次向左移动一个位置,并使位
            置参数$#减1, 直到减到0为止.

8. wait
功能:        使Shell等待在后台启动的所有子进程结束.wait的返回
            值总是真.

9. exit
功能:        退出Shell程序.在exit之后可有选择地指定一个数位作
            为返回状态.

10. "."(点)
命令格式:    . Shell程序文件名
功能:        使Shell读入指定的Shell程序文件并依次执行文件中的
            所有语句.
11. unset
命令格式:    unset [-fv][变量或函数名称]
功能:        删除变量或函数.
参数:        -f    仅删除函数
            -v    仅删除变量

12. grep    Grep: g(globally) search for a RE(regular
            expression) and p(print) the results.
命令格式:    grep [OPTION]... PATTERN [FILE] ...
参数:        -I: 忽略大小写
            -c: 打印匹配的行数
            -l: 从多个文件中查找包含匹配项
            -v: 查找不包含匹配项的行
            -n: 打印包含匹配项的行和行标
RE(正则表达式):
                忽略正则表达式中特殊字符的原有含义
            ^    匹配正则表达式的开始行
            $    匹配正则表达式的结束行
            <    从匹配正则表达式的行开始
            >    到匹配正则表达式的行结束
            [ ]    单个字符; 如[A]即A符合要求
            [ - ]范围; 如[A-Z]即A, B, C一直到Z都符合要求
            .    所有的单个字符
            *    所有字符, 长度可以为0
结果:        打印输出匹配行的内容

13. cut
命令格式:    cut [OPTION]... [FILE]...
参数:        -d' '            指定域分隔符
            -c num1-num2    显示每行从开头算起num1到num2的
                            文字.
            -f m-n            显示第m域到第n域(默认Tab为域分
                            隔符).
功能:        显示每行从开头算起num1到num2的文字.