20145222 《信息安全系统设计基础》第九周学习总结
第十章:系统级I/O
教材学习总结
输入/输出是在主存和外部设备(如磁盘驱动器、终端和网络)之间拷贝数据的过程。输入操作时从I/O设备拷贝数据到主存,而输出操作时从主存拷贝数据到I/O设备。
10.1 Unix I/O
-
一个Unix文件就是一个m个字节的序列:B0,B1,B2,B3...Bk...Bm-1。
-
一种应用接口,成为Unix I/O:所有的I/O设备,如网络、磁盘盒终端,都被模型化为文件,而所有的输入和输出都被当做对相应的文件的读和写来执行。
-
①打开文件:一个应用程序通过要求内核打开相应地文件,来宣告它想要访问一个I/O设备。内核返回一个小的非负整数,叫做描述符。它在后续对此文件的所有操作中标识这个文件。内核记录有关这个打开文件的所有信息。应用程序只需要记住这个标识符。
Unix外壳穿件的每个进程开始时都有三个打开的文件:标准输入(描述符为0)、标准输出(描述符为1)、标准错误(描述符为2)。头文件<unistd.h>定义了常量STDIN_FILENO、STDOUT_FILENO、STDERR_FILENO,它们用来代替显式的描述符值。
-
②改变当前的文件位置:对于每个打开的文件,内核保持着一个文件位置k,初始为0。这个文件位置是从文件开头起始的字节偏移量。应用程序能够通过执行seek操作,显式地设置文件的当前位置为k。
-
③读写文件:一个读操作就是从文件拷贝n>0个字节到存储器,从当前文件位置k开始,然后将k增加到k+n。给定一个大小为m字节的文件,当k>=m时执行读操作会触发一个称为
end-of -file(EOF)
的条件,应用程序能检测到这个条件。
在文件结尾处并没有明确的“EOF”符号。
类似的,写操作就是从存储器拷贝n>0个字节到一个文件,从当前文件位置k开始,然后更新k。④关闭文件:当应用完成了对文件的访问之后,它就通知内核关闭这个文件。作为响应,内核释放文件打开时创建的数据结构,并将这个描述符恢复到可用的描述符池中。无论一个进程因为何种原因终止时,内核都会关闭所有打开的文件并释放他们的存储器资源。
-
10.2 打开和关闭文件
-
open函数将
filename
转换为一个文件描述符
,并且返回描述符数字
。返回的描述符总是在进程中当前没有打开的最小描述符。
flags参数指明了进程打算如何访问这个文件:O_RDONLY:只读。 O_WRONLY:只写。 O_RDWR:可读可写。
-
flags参数也可以是一个或者更多位掩码的或,为写提供给一些额外的指示:
O_CREAT:如果文件不存在,就创建它的一个截断的(空的)文件。 O_TRUNC:如果文件已经存在,就截断它。 O_APPEND:在每次写操作前,设置文件位置到文件的结尾处。
-
mode参数指定了新文件的访问权限位。这些位的符号名字所示。作为上下文的一部分,每个进程都是一个umask,它是通过调用umask函数来设置的。当进程通过带某个mode参数的open函数调用来创建一个新文件时,文件的访问权限位被设置为:
mode&~umask
。 -
进程是通过调用open函数来打开一个已存在的文件或者创建一个新文件的。
10.3 读和写文件
-
1、应用程序是通过分别调用read和write函数来执行输入和输出的。
-
2、read函数从描述符为fd的当前文件位置拷贝最多n个字节到存储器位置buf,返回值-1表示一个错误。而返回值0表示EOF。否则,返回值表示的是实际传送的字节数量。
-
3、write函数从存储器位置buf拷贝至多n个字节到描述符fd的当前文件位置。
-
4、在某些情况下,read和write传送的字节比应用程序要求的要少,这些不足值不表示有错误。原因如下:
①读时遇到EOF。假设我们读一个文件,该文件从当前文件位置开始只含有20多个字节,而我们以50个字节的片进行读取。这样一来,下一个read返回的不足值为20,此后的read将通过返回不足值0来发出EOF信号。
②从终端读文本行。如果打开文件是与终端相关联的(如键盘和显示器),那么每个read函数将以此传送一个文本行,返回的不足值等于文本行的大小。
③读和写网络套接字。如果打开的文件对应于网络套接字,那么内部缓冲约束和较长的网络延迟会引起read和write返回不足值。对Unix管道调用read和write时,也有可能出现不足值,这种进程间的通信机制不在我们讨论的范围之内。
实际上,除了EOF,在读磁盘文件时,将不会遇到不足值,而且在写磁盘文件时,也不会遇到不足值。如果想创建简装的诸如web服务器这样的网络应用,就必须通过反复调用read和write处理不足值,直到所有需要的字节都传送完毕。
10.4 用RIO包健壮地读写
-
1、RIO包会自动处理不足值。RIO提供了两类不同的函数:
①无缓冲的输入输出函数。这些函数直接在存储器和文件之间传送数据,没有应用级缓冲,他们对将二进制数据读写到网络和从网络读写二进制数据尤其有用。
②带缓冲的输入函数。这些函数允许你高效地从文件中读取文本行和二进制数据,这些文件的内容缓存在应用级缓冲区内,类似于像printf这样的标准I/O函数提供的缓冲区。是线程安全的,它在同一个描述符上可以被交错地调用。例如,可以从一个描述符中读一些文本行,然后读取一些二进制数据,接着再多读取一些文本行。 -
2、RIO的无缓冲的输入输出函数
通过调用rio_readn和rio_writen函数,应用程序可以在存储器和文件之间直接传送数据。
如果rio_readn和rio_writen函数被一个从应用信号处理程序的发放你会中断,那么每个函数都会手动地重启read或write。为了尽可能有较好地可移植性,允许被中断的系统调用,并在必要时重启他们。
-
3、RIO的带缓冲的输入函数
一个文本行就是一个由换行符结尾的ASCII码字符序列。在Unix系统中,换行符(‘ ')与ASCII码换行符(LF)相同,数字值为0x0a。
- 用一个程序来计算文本文件中文本行的数量:用read函数来一次一个字节地从文件传送到用户存储器,检查每个字节来查找换行符。这个方法的缺点是效率低,每读取文件中的一个字节都要求陷入内核。
- 另一种方法是调用一个包装函数(rio_readlineb),它从一个内部读缓冲区拷贝一个文本行,当缓冲区变空时,会自动地调用read重新填满缓冲区。对于既包含文本行也包含二进制数据的文件,我们也提供了一个rio_readn带缓冲区的版本,叫做rio_readnb,它从和rio_readlineb一样的读缓冲区中传送原始字节。
10.5 读取文件元数据
1、应用程序能够通过调用stat和fstat函数,检索到关于文件的信息(元数据)。
2、文件类型:
- 普通文件:二进制或文本数据,宏指令:S_ISREG()
- 目录文件:包含其他文件的信息,宏指令:S_ISDIR()
- 套接字:通过网络和其他进程通信的文件,宏指令:S_ISSOCK()
3、Unix提供的宏指令根据st_mode成员来确定文件的类型
10.6 共享文件
1、内核用三个相关的数据结构来表示打开的文件:
- 描述符表:每个打开的描述符表项指向文件表中的一个表项
- 文件表:所有进程共享这张表,每个表项包括文件位置,引用计数,以及一个指向v-node表对应表项的指针
- v-node表:所有进程共享这张表,包含stat结构中的大多数信息
2、三种打开文件的类型:
- 典型:描述符各自引用不同的文件,没有共享
- 共享:多个描述符通过不同的文件表表项引用同一个文件。(关键思想:每个描述符都有自己的文件位置,对不同描述符的读操作可以从文件的不同位置获取数据)
- 继承:子进程继承父进程打开文件。调用fork后,子进程有一个父进程描述符表的副本,父子进程共享相同的打开文件表集合,因此共享相同的文件位置
遇到的问题和解决方法
- 在看教材内容时,很不明白EOF是什么意思?
解决过程:结合前后教材内容以及询问同学后明白,EOF大概意思是一个信号,表示一个文件的结尾。 - 具体怎样来处理不足值?
解决:通过反复调用read和write。
代码托管情况
截图:
学习进度条
代码行数(新增/累积) | 博客量(新增/累积) | 学习时间(新增/累积) | 重要成长 | |
---|---|---|---|---|
目标 | 4000行 | 30篇 | 400小时 | |
第一周 | 0/0 | 2/3 | 10/20 | 掌握了几个命令 |
第二周 | 0/0 | 1/4 | 8/28 | 熟练了vim编辑器的操作 |
第三周 | 40/40 | 1/5 | 12/40 | 开始敲代码了 |
第五周 | 36/76 | 2/7 | 15/55 | 慢慢熟悉了汇编语言 |
第六周 | 12/88 | 2/9 | 16/71 | 对机器语言指令有了更深一步的理解 |
第七周 | 50/138 | 3/12 | 30/101 | 多写实用性强的博客,慢慢养成好习惯 |
第十周 | 200/338 | 2/15 | 25/126 | 理解了系统级I/O的一些基本原理 |