15.1 理解输入和输出
现在知道两种显示脚本输出的方法
1)在显示器屏幕上显示
2)将输出文件重定向到文件中
15.1.1 标准文件描述符
Linux系统将每个对象当做文件处理。这包括输入和数出进程。
Linux用文件描述符来标识每个文件对象。
它是一个非负整数,可以唯一标识会话中打开的文件。
每个进程一次最多可以有九个文件描述符
bash shell保留的前3个文件描述符(0、 1、 2)
1.STDIN 标准输入(0)
STDIN文件代表shell的标准输入。
对终端界面来说,标准输入是键盘。
shell从STDIN文件描述符对应的键盘获得输入,在用户输入时处理每个字符
在使用输入重定向符号( < )时,Linux会用重定向指定的文件来替换标准输入文件描述符。它会读取文件并提取数据,就如同它是键盘上键入的。
2.STDOUT 标准输出(1)
STDOUT文件描述符代表shell的标准输出。
对终端界面来说,标准输出是终端显示器。shell的所有输出会被定向到标准输出中。
也可以通过输出重定向( > )来改变输出。通过输出重定向符号,可以将本来显示在显示器上的输出重定向到指定的文件。
>> 表示追加到文件
注意:用了输出重定向,shell并未将错误消息重定向到输出重定向文件中。错误消息仍会显示在显示器中。
3.STDERR 标准错误(2)
STDERR文件描述符来处理错误消息。
shell或shell中运行的程序和脚本出错时生成的错误消息都会发送到这个位置。
默认情况下STROUT和STDERR指向同样的地方(显示器)。但是STDERR不会随着STDOUT重定向而发生改变。
15.1.2 重定向错误
1.只重定向错误
将该文件描述符值(2)放在重定向符号(>)前面,必须挨着,不能有空格。
比如,查看一个不存在的文件:
$ls –al 2> log.txt
这种方法只会重定向错误消息,普通输出不会被重定向。
2. 重定向错误和数据
需要用两个重定向符号,需要在符号前面放上待重定向数据所对应的文件描述符,然后指定用于保存数据的输出文件。
例如:
$ls -al test1 test2 test3 badfile 2> ErrLog.txt 1> DataLog.txt
表示将错误信息重定向到ErrLog.txt,正常输出重定向到DataLog.txt。
这样错误信息和正常输出就分开在两文件了。
$ls -al test1 test2 test3 badfile &> AllLog.txt
这样表示将STDOUT和STDERR重定向到同一个文件AllLog.txt中了。
bash shell自动赋予了错误消息更高的优先级,这样可以集中浏览错误信息了。
15.2 在脚本中重定向输出
有两种方法:
1)临时重定向行输出
2)永久重定向脚本中的所有命令
15.2.1 临时重定向
可以单独将一行重定向到STDERR。
比如:
echo “this is error msg” >&2
echo “this is normal msg”
正常运行不会看出什么,但是假如运行时重定向了STDERR就有意思了。
$./test 2> Error.txt
就可以看到第一行输出到了 Error.txt。而正常输出还是在屏幕上。
15.2.2 永久重定向
如果有大量数据需要重定向,那么就会比较麻烦。
新方法:用exec命令告诉shell在脚本执行期间重定向某个特定文件描述符
直接上例子:
1 #!/bin/bash
2 echo "this is error msg step1" >&2
3 echo "this is normal msg step1"
4 # 上面没有重定向,所以还是在屏幕输出。下面才开始重定向到需要的文件中
5 exec 1>test2log.txt
6 exec 2>test2Error.txt
7 echo "this is error msg step2" >&2
8 echo "this is normal msg step2"
这样一旦重定向了就很难改回去了。
15.3 在脚本中重定向输入
exec 命令允许你将STDIN重定向到Linux系统上的文件中。
例子:查看test2中的数据
1 #!/bin/bash
2 exec 0< test2 # 输入重定向到test2中
3 echo "test2:"
4 count=1
5 while read line
6 do
7 echo " $line"
8 count=$[ $count + 1 ]
9 done
15.4 创建自己的重定向
之前说一个进程最多可以与9个打开的文件描述符。其他6个(3 ~ 8)的文件描述符均可用作输入或输出重定向。
可以将这些文件描述符中的任意一个分配给文件。
15.4.1 创建输出文件描述符
用exec命令给输出分配文件描述符。
和标准的文件描述符一样,一旦将另一个文件描述符分配给了一个文件,这个重定向就会一直有效,直到你重新分配。
例子:
1 #!/bin/bash
2 exec 3>test4log.txt # exec 3>>test4log.txt 这个是将输出追加到现有文件
3 echo "This is Normal msg"
4 echo "This is fd:3 msg" >&3
15.4.2 重定向文件描述符
现在介绍怎么恢复已重定向的文件描述符。
可以分配另外一个文件描述符给标准文件描述符,反之亦然。
可以将STDOUT重定向到另外一个文件描述符,然后再利用该文件描述符重定向回STDOUT
例子:
1 #!/bin/bash
2 # storing STDOUT, then coming back to it
3 exec 3>&1 # 3重定向到STDOUT。意味着给3的数据都将出现再显示器上
4 exec 1>test5log.txt # 将STDOUT重定向到文件。但是3仍然指向STDOUT原来的位置,也就是显示器。这时给3发会显示在显示器中。给STDOUT发会显示在文件中
5 echo "This should store in the output file"
6 echo "alone with this line."
7
8 exec 1>&3 # 将STDOUT重定向到3的当前位置(也就是显示器)
9 echo "now things should be back to normal"
15.4.3 创建输入文件描述符
跟上面类似,先将STDIN保存到另外一个文件描述符,然后读取完文件在将STDIN恢复
例子:
1 #!/bin/bash
2 exec 6<&0 # 6先保存STDIN的位置
3 exec 0<test5 # 将STDIN重定向到 test5
4 count=1
5 while read line
6 do
7 echo " $line"
8 count=$[ $count +1 ]
9 done
10
11 exec 0<&6 # 读取完成后将STDIN重定向到文件描述符6,从而恢复之前的位置
12 read -p "Are you done now?" answer
13 case $answer in
14 Y|y) echo "GoodBye!!!";;
15 N|n) echo "Sorry, this is the end";;
16 *) echo "Error End";;
17 esac
15.4.4 创建读写文件描述符
可以打开单个文件描述符作为输入和输出。可以利用同一个文件描述符对同一个文件进行读写。
用起来要小心:由于是对同一个文件进行数据读写,shell会维护一个内部指针,指明在文件中的当前位置。任何读或写都是从文件指针上次的位置开始。
例子:
1 #!/bin/bash
2 exec 3<> testfile
3 read line <&3
4 echo "Read:$line" #注意这里写是从文件指针上次的位置开始,也就是读了一行之后的位置
5 echo "Write: This is test line" >&3
15.4.5 关闭文件描述符
如果你创建了新的输入或输出文件描述符,shell会在脚本退出时自动关闭它们。
但是某些时候还是要自己去关闭。
如何关闭: 将要关闭的文件描述符重定向到特殊符号 &-
一旦关闭后,就不能在脚本中向他写入数据,否则shell会产生错误信息。
例子:
1 #!/bin/bash
2 # close fd test
3 exec 3>test8log.txt
4 echo "This is normal to fd:3" >&3
5 exec 3>&-
6 echo "after close write:his is normal to fd:3" >&3 # 关闭后再往里面写会出错
7
8 exec 3>test8log.txt # 这里相当于重新打开了
9 echo "This is bad normal to fd:3" >&3 # 会覆盖原来的
15.5 列出打开的文件描述符
lsof命令会列出整个linux系统打开的所有的文件描述符。会产生大量输出。
还可以接选项和参数:
-p 后面接要查看的进程。 $$ 表示当前进程
-d 后面指定要显示的文件描述符编号。
例子:
1 #!/bin/bash
2 exec 3> testfile
3 lsof -a -p $$ -d 0,1,2,3,4
15.6 阻止命令输出
有时不想显示脚本的输出。可以将输出重定向到一个叫做null文件的特殊文件中去。
比如:
$ls –al > /dev/null
还可以这样清空日志文件
$ cat /dev/null > TestLog.txt
15.7 创建临时文件
linux使用/tmp目录来存放不需要永久保留的文件。大部分linux发行版配置了系统在启动时自动删除/tmp目录下的所有文件。
系统上的任何用户账户都有权限在读写/tmp目录中的文件。
mktemp可以在/tmp目录中创建一个唯一的临时文件。一旦创建了文件,你就在脚本中有了完整的读写权限,别人无法访问它。
15.7.1 创建本地临时文件
只需要指定一个文件名模板就行了,在文件末尾加上6个X。
$mktemp testing.XXXXXX
注意:这里一定要有大写的X。这里的X有点通配符的意思。还可以写不是X的
mktemp命令的输出是它所创建的文件的名字。在脚本中保存起来,就能在后面的脚本里引用了。
例子:
1 #!/bin/bash
2 # create and using temp file
3 tempfile=$(mktemp test10.XXXXXX)
4 echo "tempfile = $tempfile"
5 exec 3>$tempfile
6 echo "This script writes to tmp file $tempfile"
7 echo "this is first line" >&3
8 echo "this is second line" >&3
9 echo "this is third line" >&3
10 exec 3>&-
11
12 echo "Now delete file $tempfile"
13 rm -f $tempfile > /dev/null
15.7.2 在/tmp目录创建临时文件
-t 选项会强制mktemp在系统的临时目录来创建该文件。
这个时候返回用来创建临时文件的全路径,而不是只有文件名。
就上面的例子加上 –t就好了。
。。。
tempfile=$(mktemp -t test10.XXXXXX)
。。。
15.7.3 创建临时目录
-d选项用来创建临时目录。这样就能用改目录进行任何需要的操作了。
例子:
1 #!/bin/bash
2 # create and using temp dir
3 tempdir=$(mktemp -d test12dir.12XXXX)
4 cd $tempdir
5 echo This in Dir:$(pwd)
6 tempfile=$(mktemp test12.XXXXXX)
7 echo "tempfile = $tempfile"
8 exec 3>$tempfile
9 echo "This script writes to tmp file $tempfile"
10 echo "this is first line" >&3
11 echo "this is second line" >&3
12 echo "this is third line" >&3
15.8 记录消息
将输出同时发送到显示器和日志文件,需要特殊命令tee就可以了。
tee命令相当于管道第一个T型接头。它将STDIN过来的数据同时发往两处,一处是STDOUT,一处是指定的文件。
比如:
$date | tee log.txt
$date | tee –a log.txt # 这个是将数据追加到文件中
例子:
1 #!/bin/bash
2 # tee test
3 echo "This is 1 msg" | tee test13log.txt
4 echo "This is 2 msg" | tee -a test13log.txt
5 echo "This is 3 msg" | tee -a test13log.txt
15.9 实例
文件重定向常见于脚本需要读入文件和输出文件时。
需求:把数据数据放入电子表格中(.csv文件),读取文件,创建INSERT语句。
例子:
1 #!/bin/bash
2 outfile='members.sql'
3 IFS=,
4 while read name age sex num
5 do
6 cat >> $outfile << EOF
7 insert into members (name, age, sex, num) values('$name', '$age', '$sex', '$num');
8 EOF
9 done <${1}
1)${1}代表第一个命令行参数。它指明了待读取数据的文件。
2)read会用IFS字符解析读入的文本,我们在这里将IFS指定为逗号。
cat >> $outfile << EOF // 这一段还是不大理解
这个包含一个输出追加重定向(>>)和一个输入追加重定向(<<)。
>> 将cat命令的输出追加到由$outfile变量指定的文件中。
cat命令的输入不在取自标准输入,而是被重定向到脚本中存储的数据。
EOF符号标记了追加到文件中的数据的起止。
输入文件 + 运行 + 结果:
说明:
特殊重定向(here document):
command << delimiter
document
delimiter
作用是将两个delimiter之间的内容(document)作为输入传给command
注意:结尾的delimiter一定要顶格写,不能有空格。
(1)
6 cat >> $outfile << EOF
7 insert into members (name, age, sex, num) values('$name', '$age', '$sex', '$num');
8 EOF
(2)
6 cat << EOF
7 insert into members (name, age, sex, num) values('$name', '$age', '$sex', '$num');
8 EOF
黄色高亮部分作为输入传给cat。(1)重定向到outfile去了,(2)仍然是标准输出(屏幕)