20144303《信息安全系统设计基础》第十四周学习总结

20144303《信息安全系统设计基础》第十四周学习总结

教材学习内容

第九章

虚拟存储器是计算机系统最重要的概念之一，它是对主存的一个抽象

三个重要能力：

• 它将主存看成是一个存储在磁盘上的地址空间的高速缓存，在主存中只保存活动区域，并根据需要在磁盘和主存之间来回传送数据，通过这种方式，高效的使用了主存
• 它为每个进程提供了一致的地址空间，从而简化了存储器管理
• 它保护了每个进程的地址空间不被其他进程破坏

程序员需要理解虚拟存储器的原因：

• 虚拟存储器是中心的：它是硬件异常、硬件地址翻译、主存、磁盘文件和内核软件的交互中心；
• 虚拟存储器是强大的：它可以创建和销毁存储器片、可以映射存储器片映射到磁盘某个部分等等；
• 虚拟存储器若操作不当则十分危险

第一节：物理和虚拟寻址

• 计算机系统的主存被组织成一个由M个连续的字节大小的单元组成的数组，每字节都有一个唯一的物理地址PA。
• 根据物理地址寻址的是物理寻址。
• 虚拟存储器被组织为一个由存放在磁盘上的N个连续的字节大小的单元组成的数组。
• 使用虚拟寻址时，CPU通过生成一个虚拟地址VA来访问主存，这个虚拟地址在被送到存储器之前先转换成适当的物理地址（这个过程叫做地址翻译，相关硬件为存储器管理单元MMU）

第二节：地址空间

• 地址空间是一个非负整数地址的有序集合：{0,1,2,……}
• 地址空间中的整数是连续的
• CPU从一个有 N=2^n 个地址的地址空间中生成虚拟地址，这个地址空间成为称为虚拟地址空间
• 由表示最大地址所需要的位数来描述
• N=2^n：n位地址空间
• 主存中的每个字节都有一个选自虚拟地址空间的虚拟地址和一个选自物理地址空间的物理地址

第三节：虚拟存储器作为缓存的工具

虚拟存储器被组织为一个由存放在磁盘上的N个连续的字节大小的单元组成的数组，每个字节都有一个唯一的虚拟地址，这个唯一的虚拟地址是作为到数组的索引的。

VM系统通过将虚拟存储器分割为称为虚拟页的大小固定的块作为磁盘和主存之间的传输单元，每个虚拟页大小为P=2^p。物理存储器被分割为大小也为P字节的物理页称为帧。

在任意时刻，虚拟页的集合通常被分为三个不相交的子集：

• 未分配的
• 缓存的
• *未缓存的

DRAM缓存的组织结构是由巨大的不命中开销驱动的。

全相联：任何虚拟页可以放在任何的物理页中

因为对磁盘的访问时间很长，总是使用写回而不是直写

页表：

a. 一个页表条目的数组
b .能够将虚拟页映射到物理页。

c. 虚拟地址空间中的每个页在页表中的固定偏移量出都有一个PTE。

假设每个PTE，一般由一个有效位和一个n位地址字段组成。有效位表明了该虚拟页是否被缓存在DRAM中。

• 如果设置了有效位，地址字段就表示DRAM中相应的物理页的起始位置，这个物理页中缓存了该虚拟页。
• 如果未设置有效位，一个空地址表示虚拟页未分配，否则，这个地址就指向该虚拟页在磁盘中的起始位置。

缺页:

DRAM缓存不命中称为缺页。当cpu引用一个DRAM中的一个字时，该字并未缓存在DRAM中，地址翻译硬件从存储器中读出这个字，从有效位推断它未被缓存，并且触发一个缺页异常。缺页异常再调用内核中的缺页异常处理程序，选择一个牺牲页并拷贝引用的字回磁盘，更新并返回。

分配页面：通过磁盘上创建空间，并更新，使它指向磁盘上这个新创建的页面，从而进行分配。

程序的局部性保证了在任意时刻，程序往往在一个小的工作集中活动。工作集大小超出物理存储器大小时会出现颠簸现象。

第四节：虚拟存储器作为存储器管理的工具

操作系统每个进程都有一个独立的页表，因而也就是一个独立的虚拟地址空间。

按需页面调度和独立的虚拟地址空间的结合，对系统中存储器的使用和管理造成了深远的影响。特别地，VM简化了链接和加载、代码和数据共享，以及应用程序的存储器分配。

• 简化链接：独立的地址空间允许每个进程为它的存储器映像使用相同的基本格式，因而不管代码和数据实际存放在物理存储器的何处，它的一致性极大地简化了链接器的设计和实现，允许生成全链接的可执行文件，这些可执行文件是独立于物理存储器中代码和数据的最终位置的。
• 简化加载：虚拟存储器使得容易向存储器中加载可执行文件和共享文件对象。系统加载时只需分配那些数据和代码区域的连续的虚拟页面区域，将它们标识为无效，且页面条目地址指向目标文件中适当的位置。
• 简化共享：操作系统通过不同进程的页表，将各自的私有的数据和代码映射到不同的物理页面；而对共享的代码和数据，就将适当的虚拟页面映射到相同的物理页面，从而安排多个进程共享这部分代码的一个拷贝。
• 简化存储器分配：由于页表的工作方式，操作系统只需分配一个适当数字个连续的虚拟存储器页面，但可以映射到任意分散的物理存储器中。

一个概念：将一组连续的虚拟页面映射到任意一个文件中的任意一个位置的表示法叫做存储器映射。

第五节：虚拟存储器作为存储器保护的工具

任何现代计算机系统必须为操作系统提供手段来控制对存储器系统的访问。不应该允许一个用户进程修改它的只读文本段。而且也不应该允许它读或修改任何内核中的代码和数据结构。不应该允许它读或者写其他进程的私有存储器，并且不允许它修致任何与其他进程共享的虚拟页面，除非所有的共享者都显式地允许它这么做（通过调用明确的进程间通信系统调用）。

第六节：地址翻译

地址翻译就是一个N元素的虚拟地址空间VAS中的元素和一个M元素的物理地址空间PAS中元素之间的映射。

页面基址寄存器PTBR指向当前页表。

MMU利用VPN选择适当的PTE。

PPO=VPO。

• 当页面命中时，CPU动作：

处理器生成虚拟地址，传给MMU
MMU生成PTE地址，并从高速缓存/主存请求得到他
高速缓存/主存向MMU返回PTE
MMU构造物理地址，并把它传给高速缓存/主存
*高速缓存/主存返回所请求的数据给处理器。

• 处理缺页时：

处理器生成虚拟地址，传给MMU
MMU生成PTE地址，并从高速缓存/主存请求得到他
高速缓存/主存向MMU返回PTE
PTE中有效位为0，触发缺页异常
确定牺牲页
调入新页面，更新PTE
*返回原来的进程，再次执行导致缺页的指令，会命中

a. 结合高速缓存和虚拟存储器来看

首先，在既使用SRAM高速缓存又使用虚拟存储器的系统中，大多数系统选择物理寻址
主要思路是地址翻译发生在高速缓存之前
页表目录可以缓存，就像其他的数据字一样

b. 利用TLB加速地址翻译

TLB：翻译后备缓冲器，是一个小的、虚拟存储的缓存，其中每一行都保存着一个由单个PTE组成的块

步骤：

CPU产生一个虚拟地址
MMU从TLB中取出相应的PTE
MMU将这个虚拟地址翻译成一个物理地址，并且将它发送到高速缓存/主存
高速缓存/主存将所请求的数据字返回给CPU

c. 多级页表

多级页表——采用层次结构，用来压缩页表。

以两层页表层次结构为例，好处是：

如果一级页表中的一个PTE是空的，那么相应的二级页表就根本不会存在
只有一级页表才需要总是在主存中，虚拟存储器系统可以在需要时创建、页面调入或调出二级页表，只有最经常使用的二级页表才缓存在主存中。

第八节：存储器映射

通过将一个虚拟存储器区域与一个磁盘上的对象关联起来，以初始化这个虚拟存储器区域的内容，这个过程叫做存储器映射。

虚拟存储器区域可以映射到两种类型的对象：

普通文件：一个区域可以映射到一个普通磁盘的其他部分。
匿名文件：内核创建的，包含的全是二进制零。

再看共享对象

• 一个对象可以被映射到虚拟存储器的一个区域，要么作为共享对象，要么作为私有对象。

• 对共享对象，某个进程的任何写操作于那些也把这个共享对象映射到它们虚拟存储器中的其它进程而言也是可见的，这些变化会反映到磁盘中的原始文件上；而对私有对象，某个进程的任何写操作对其它进程来说都是不可见的。

• 私有对象一般使用一种写时拷贝的技术来映射到虚拟存储器中。一个私有对象开始时与共享对象一样，都是每个进程虚拟空间中各自有一个映射，但物理存储器中只有一份拷贝。而当到某个进程试图写私有对象的某个区域时，会触发一个保护故障，故障处理程序就会在物理存储器中创建这个页面的一个新拷贝，并更新相应PTE和恢复写权限，再将控制返回到写指令处。

第九节：动态存储器分配

1.堆：

是一个请求二进制0的区域，紧接在未初始化的bss区域后开始，并向上（更高的地址）生长。有一个变量brk指向堆的顶部

2.分配器的两种基本风格：

a.显示分配器-malloc和free
b.隐式分配器/垃圾收集器

为什么要使用动态存储器分配？

因为经常知道程序实际运行时，它们才知道某些数据结构的大小。

二、分配器的要求和目标：

1.要求

处理任意请求序列
立即响应请求
只使用堆
对齐块
不修改已分配的块

2.目标：

最大化吞吐率（吞吐率：每个单位时间里完成的请求数）
最大化存储器利用率——峰值利用率最大化

三、碎片

虽然有未使用的存储器，但是不能用来满足分配请求时，发生这种现象。

1.内部碎片

发生在一个已分配块比有效载荷大的时候

易于量化。

2.外部碎片

发生在当空闲存储器合计起来足够满足一个分配请求，但是没有一个单独的空间块足以处理这个请求时发生

难以量化，不可预测。

四、隐式空闲链表

堆块的格式：

由一个字的头部，有效荷载，和可能的额外填充组成。

空闲块通过头部中的大小字段隐含地连接着，分配器可以通过遍历堆中所有的块，从而间接地遍历整个空闲块的集合。

需要：特殊标记的结束块。

系统对齐要求和分配器对块格式的选择会对分配器上的最小块大小有强制的要求。

五、放置已分配的块——放置策略

1.首次适配

从头开始搜索空闲链表，选择第一个合适的空闲块

2.下一次适配

从上一次搜索的结束位置开始搜索

3.最佳适配

检索每个空闲块，选择适合所需请求大小的最小空闲块

六、申请额外的堆存储器

用到sbrk函数：

include
vid *sbrk(intptr_t incr);

成功则返回旧的brk指针，出错为-1

通过将内核的brk指针增加incr来扩展和收缩堆。

七、合并空闲块

合并是针对于假碎片问题的，任何实际的分配器都必须合并相邻的空闲块。

有两种策略：

立即合并

推迟合并

八、带边界的合并

这个合并的意思是，因为头部的存在，所以向后合并是简单的，但是向前合并是不方便的，所以在块的最后加一个脚部，作为头部的副本，就方便了合并空闲块总是需要脚部的。

九、实现简单的分配器

这里课本上给了一个详细的例子，关于如何实现一个简单分配器的设计，有几点是需要注意的：

• 序言块和结尾块：序言块是初始化时创建的，而且永不释放；结尾块是一个特殊的块，总是以它为结束。
• 有一个技巧，就是将重复使用的，操作复杂又有重复性的，这些可以定义成宏，方便使用也方便修改。
• 需要注意强制类型转换，尤其是带指针的，非常复杂。
• 因为规定了字节对齐方式为双字，就代表块的大小是双字的整数倍，不是的舍入到是。

十、显式空闲链表

1.区别

（1）分配时间

隐式的，分配时间是块总数的线性时间

但是显式的，是空闲块数量的线性时间。

（2）链表形式

隐式——隐式空闲链表

显式——双向链表，有前驱和后继，比头部脚部好使。

2.排序策略：

后进先出

按照地址顺序维护

十一、分离的空闲链表

*分离存储，是一种流行的减少分配时间的方法。一般思路是将所有可能的块大小分成一些等价类/大小类。

*分配器维护着一个空闲链表数组，每个大小类一个空闲链表，按照大小的升序排列。

有两种基本方法：

1.简单分离存储

每个大小类的空闲链表包含大小相等的块，每个块的大小就是这个大小类中最大元素的大小。

（1）操作

如果链表非空：分配其中第一块的全部

如果链表为空：分配器向操作系统请求一个固定大小的额外存储器片，将这个片分成大小相等的块，并且连接起来成为新的空闲链表。

（2）优缺点

优点：时间快，开销小

缺点：容易造成内部、外部碎片

2.分离适配

每个空闲链表是和一个大小类相关联的，并且被组织成某种类型的显示或隐式链表，每个链表包含潜在的大小不同的块，这些块的大小是大小类的成员。

这种方法快速并且对存储器使用很有效率。

3.伙伴系统——分离适配的特例

其中每个大小类都是2的幂

这样，给定地址和块的大小，很容易计算出它的伙伴的地址，也就是说：一个块的地址和它的伙伴的地址只有一位不同。

优点：快速检索，快速合并。

第十节：垃圾收集

垃圾收集器是一种动态存储分配器，它自动释放程序不再需要的已分配块，这些块被称为垃圾，自动回收堆存储的过程叫做垃圾收集。

1.基本知识

垃圾收集器将存储器视作一张有向可达图，只有当存在一条从任意根节点出发并到达p的有向路径时，才说节点p是可达的，而不可达点就是垃圾。

2.Mark&Sweep垃圾收集器

有两个阶段：

• 标记：标记出根节点的所有可达的和已分配的后继

• 清楚：释放每个未被标记的已分配块。

• 相关函数：

        ptr定义为typedef void *ptr
        ptr isPtr(ptr p)：如果p指向一个已分配块中的某个字，那么就返回一个指向这个块的起始位置的指针b，否则返回NULL
        int blockMarked(ptr b)：如果已经标记了块b，那么就返回true
        int blockAllocated(ptr b)：如果块b是已分配的，那么久返回ture
        void markBlock(ptr b)：标记块b
        int length(ptr b)：返回块b的以字为单位的长度，不包括头部
        void unmarkBlock(ptr b)：将块b的状态由已标记的改为未标记的
        ptr nextBlock(ptr b)：返回堆中块b的后继
  

第十一节：C程序中常见的与存储器有关的错误

• 间接引用坏指针

常见错误——scanf错误

• 读未初始化的存储器

常见错误——假设堆存储器被初始化为0

• 允许栈缓冲区溢出

常见错误——缓冲区溢出错误

• 假设指针和它们指向的对象是相同大小的

在远处起作用action at distance

• 造成错位错误
• 引用指针，而不是它所指向的对象
• 误解指针运算
• 引用不存在的变量
• 引用空堆块中的数据
• 引起存储器泄露

学习进度条

	代码行数（新增/累积）	博客量（新增/累积）	学习时间（新增/累积）	重要成长
目标	5000行	30篇	400小时
第一周	0/0	1/1	20/20
第二周	300/300	1/2	20/40
第三周	300/600	1/3	20/60
第五周	200/800	2/5	20/80
第六周	100/900	2/7	20/80
第七周	160/1060	1/8	20/100
第八周	0/1060	2/9	20/120
第九周	300/1360	2/11	20/140
第十周	495/1855	2/13	20/160
第十一周	495/1855	2/15	20/180
第十二周	0/1855	4/19	20/200
第十三周	1000/2855	1/20	20/220
第十四周	0/2855	1/21	20/240