20135306第十四周学习总结

第九章 虚拟存储器

虚拟存储器是计算机系统最重要的概念之一。

虚拟存储器（Virtual Memory），是硬件异常，硬件地址翻译，主存，磁盘文件和内核软件的完善交互，它为每个进程提供一个大的，一致的，私有地址空间。通过一个清晰的机制，虚拟存储器提供了三个要重的能力：

• 它将主存看成是一个存储在磁盘上的地址空间的高速缓存，在主存中只保存活动区域，并根据需要在磁盘和主存之间来回传送数据，通过这种方式，高效的使用了主存
• 它为每个进程提供了一致的地址空间，从而简化了存储器管理
• 它保护了每个进程的地址空间不被其他进程破坏

9.1 物理和虚拟寻址

1. 物理地址：计算机系统的主存被组织成一个人由M个连续的字节到校的单元组成的数组。每字节都有一个唯一的物理地址。第一个字节的地CPU生成址为0，接下来的字节地址为1，再下一个是2，依次类推。给定这种简单的结构，CPU访问存储器的最自然的方式就是使用物理地址。

                       

2. 虚拟地址：早期的PC使用物理寻址，而且诸如数字信号处理器，嵌入式微控制器以及Cray超级计算机这样的系统仍然继续使用这种寻址方式。而为通用计算机设计师的现代处理器使用的是虚拟寻址。使用虚拟寻址时，CPU通过生成一个虚拟地址来访问主存，这个虚拟地址在被送到存储器之前先转换成适当的物理地址（这个过程叫做地址翻译，相关硬件为存储器管理单元MMU）

 

9.2 地址空间

地址空间：一个非负整数地址的有序集合。

线性地址空间：地址空间中的整数是连续的

虚拟地址空间：一个带有虚拟存储器的系统中，CPU从一个有N=2^n个地址的地址空间中生成虚拟地址，这个地址空间称为虚拟地址空间。

• 大小：由表示最大地址所需要的位数来描述。
• 现代系统支持32位或64位。

地址空间的概念区分了数据对象（字节）和它们的属性（地址）。

虚拟存储器的基本思想：我们允许每个数据对象有多个独立的地址，其中每个地址都选自一个不同的地址空间。主存中的每个字节都有一个选自虚拟地址空间的虚拟地址和一个选自物理地址空间的物理地址。

 9.3 虚拟存储器作为缓存的工具

虚拟存储器被组织为一个由存放在磁盘上的N个连续的字节大小的单元组成的数组，每个字节都有一个唯一的虚拟地址，这个唯一的虚拟地址是作为到数组的索引的。

VM系统通过将虚拟存储器分割为称为虚拟页的大小固定的块作为磁盘和主存之间的传输单元，每个虚拟页大小为P=2^p。物理存储器被分割为大小也为P字节的物理页称为帧。

在任意时刻，虚拟页的集合通常被分为三个不相交的子集：

• 未分配的
• 缓存的
• 未缓存的

 DRAM缓存的组织结构是由巨大的不命中开销驱动的。

• 全相联：任何虚拟页可以放在任何的物理页中
• 因为对磁盘的访问时间很长，总是使用写回而不是直写
• 更复杂精密的替换算法

 

页表：

• 一个页表条目的数组
• 能够将虚拟页映射到物理页。

虚拟地址空间中的每个页在页表中的固定偏移量出都有一个PTE。

假设每个PTE，一般由一个有效位和一个n位地址字段组成。有效位表明了该虚拟页是否被缓存在DRAM中。

• 如果设置了有效位，地址字段就表示DRAM中相应的物理页的起始位置，这个物理页中缓存了该虚拟页。
• 如果未设置有效位，一个空地址表示虚拟页未分配，否则，这个地址就指向该虚拟页在磁盘中的起始位置。

 

1.DRAM缓存的组织结构

• 不命中处罚很大
• 是全相联的——任何虚拟页都可以放在任何的物理页中。
• 替换算法精密
• 总是使用写回而不是直写。

2.页表

存放在物理存储器一个数据结构，叫做页表（page table）。页表将虚拟页映射到物理页。

页表就是一个PTE（page table entry，页表条目）的数组。虚拟地址空间中的每个页在页表中的一个固定偏移量处都有一个PTE。

NULL：未分配。
VP3，VP5：已分配，但是还未被缓存。
VP1：已分配，已缓存。

 

3.页命中

• 缺页：就是指DRAM缓存不命中。
• 缺页异常：会调用内核中的缺页异常处理程序，选择一个牺牲页。
• 页：虚拟存储器的习惯说法，就是块
• 交换=页面调度：磁盘和存储器之间传送页的活动
• 按需页面调度：直到发生不命中时才换入页面的策略，所有现代系统都使用这个。

4.缺页

DRAM缓存不命中称为缺页。

局部性原则保证了在任意时刻，程序将往往在一个较小的活动页面集合上工作，这个集合叫做工作集/常驻集。

颠簸：工作集大小超出了物理存储器的大小。

9.4 虚拟存储器作为存储器管理的工具

 

操作系统每个进程都有一个独立的页表，因而也就是一个独立的虚拟地址空间。

按需页面调度和独立的虚拟地址空间的结合，对系统中存储器的使用和管理造成了深远的影响。特别地，VM简化了链接和加载、代码和数据共享，以及应用程序的存储器分配。

• 简化链接：独立的地址空间允许每个进程为它的存储器映像使用相同的基本格式，因而不管代码和数据实际存放在物理存储器的何处，它的一致性极大地简化了链接器的设计和实现，允许生成全链接的可执行文件，这些可执行文件是独立于物理存储器中代码和数据的最终位置的。
•  简化加载：虚拟存储器使得容易向存储器中加载可执行文件和共享文件对象。系统加载时只需分配那些数据和代码区域的连续的虚拟页面区域，将它们标识为无效，且页面条目地址指向目标文件中适当的位置。
• 简化共享：操作系统通过不同进程的页表，将各自的私有的数据和代码映射到不同的物理页面；而对共享的代码和数据，就将适当的虚拟页面映射到相同的物理页面，从而安排多个进程共享这部分代码的一个拷贝。
• 简化存储器分配：由于页表的工作方式，操作系统只需分配一个适当数字个连续的虚拟存储器页面，但可以映射到任意分散的物理存储器中。
• 一个概念：将一组连续的虚拟页面映射到任意一个文件中的任意一个位置的表示法叫做存储器映射。

 

9.5 虚拟存储器作为存储器保护的工具

 

PTE的三个许可位：

• SUP：表示进程是否必须运行在内核模式下才能访问该页
• READ：读权限
• WRITE：写权限

在PTE上添加一些额外的许可位来控制对一个虚拟页面内容的访问。例如：SUP位表示进程是否必须运行在内核模式下才能访问网页；READ位和WRITE位的读和写进行访问。如果一条指令违反了这些许可条件，那么cpu就触发一个一般保护故障，将控制传递给一个内核中的异常处理程序。

 

9.6 地址翻译

 

1.地址翻译

地址翻译是一个N元素的虚拟地址空间（VAS）中的元素和一个M元素的物理地址空间（PAS）中元素之间的映射。

2.页表基址寄存器

CPU中的一个控制寄存器，叫做页表基址寄存器（page table base register,PTBR）指向当前页表。N位的虚拟地址包含两个部分：一个p位的VPO（virtual page offset,虚拟页面偏移）和一个n-p位的VPN（virtual page number）。MMU利用VPN来选择适当的PTE。如VPN0选择PTE0。因为物理和虚拟页面都是p字节的，所以PPO（physical page offset物理页面偏移）和VPO是相同的，所以，将页表条目中PPN（physical page number,物理页号）和虚拟地址中的VPO串联起来，就是相应的物理地址。

 

3.页面命中完全由硬件处理的，而处理缺页要求硬件和OS内核协作完成。

4.结合高速缓存和虚拟存储器

大多数系统是选择物理寻址的方式来访问高速缓存。使用物理寻址，多个进程同时在高速缓存中有存储块和共享来自相同虚拟页面的块成为简单的事情。而且，高速缓存无需处理保护的问题，因为访问权限的检查是地址翻译过程中一部分。

5.利用TLB加速地址翻译

在MMU中包括一个关于PTE的小的缓存，称为TLB。TLB是一个小的，虚拟寻址的缓存，其中每一行都保存着一个由单个PTE组成的块。

 

 

6.多级页表

多级页表——采用层次结构，用来压缩页表。

（1）以两层页表层次结构为例，好处是：

     如果一级页表中的一个PTE是空的，那么相应的二级页表就根本不会存在

     只有一级页表才需要总是在主存中，虚拟存储器系统可以在需要时创建、页面调入或调出二级页表，只有最经常使用的二级页表才缓存在主存中。

（2）多级页表的地址翻译：

 

9.7 案例研究：Intel Core i7/Linux存储器系统

处理器包：四个核、一个大的所有核共享的L3高速缓存和一个DDR3存储器控制器。

 

一、 Core i7地址翻译

二、Linux虚拟存储器系统

Linux为每个进程维持了一个单独的虚拟地址空间。内核存储器包含内核中的代码和数据结构。一部分区域映射到所有进程共享的物理页面另一部分包含每个进程都不相同的数据。

1．Linux虚拟存储器区域

区域：就是已分配的虚拟存储器的连续片，这些页是相关联的。

每个存在的虚拟页面都保存在某个区域中。内核为系统中的每个进程维护一个单独的任务结构task_struct：

 

一个具体区域的区域结构包括：

•vm_start：指向起始处

•vm_end：指向结束处

•vm_prot：描述这个区域包含的所有页的读写许可权限

•vm_flags：是共享的还是私有的

•vm_next：指向下一个区域

2．Linux缺页异常处理

（1）虚拟地址A是否合法？

   不合法，触发段错误，终止进程

   合法，进入下一条

（2)存储器访问是否合法？即，是否有权限？

   不合法，触发保护异常，终止程序

   合法，进入下一条

（3)这时，是针对合法的虚拟地址进行合法的操作。所以：选择一个牺牲页面，如果被修改过就换新的并更新页表。

9．8 存储器映射

Linux通过将一个虚拟存储器区域与一个磁盘上的对象关联起来，以初始化这个虚拟存储器区域的内容的过程叫做存储器映射。

映射对象：

1.Unix文件系统中的普通文件

2.匿名文件（由内核创建，全都是二进制0）

一、共享对象和私有对象

1. 共享对象

共享对象对于所有把它映射到自己的虚拟存储器进程来说都是可见的

即使映射到多个共享区域，物理存储器中也只需要存放共享对象的一个拷贝。

2. 私有对象

私有对象运用的技术：写时拷贝

在物理存储器中只保存有私有对象的一份拷贝

fork函数就是应用了写时拷贝技术，至于execve函数：

二、使用mmap函数的用户级存储器映射

1.创建新的虚拟存储器区域

 #include <unistd.h>

   #include <sys/mman.h>

   void *mmap(void *start, size_t length, int prot, int flags, int fd, off_t offset);

                                  成功返回指向映射区域的指针，若出错则为-1

参数含义：

•   start：这个区域从start开始

•   fd：文件描述符

• length：连续的对象片大小

• offset：距文件开始处的偏移量

• prot：访问权限位，具体如下：

• PROT_EXEC:由可以被CPU执行的指令组成

• PROT_READ:可读

• PROT_WRITE:可写

  PROT_NONE:不能被访问

• flag：由描述被映射对象类型的位组成，具体如下：

•MAP_ANON:匿名对象，虚拟页面是二进制0

•MAP_PRIVATE:私有的、写时拷贝的对象

 MAP_SHARED：共享对象

2.删除虚拟存储器：

 include

 include <sys/mman.h>

 int munmap(void *start, size_t length);

                               成功返回0，失败返回-1

从start开始删除，由接下来length字节组成的区域。

9.9 动态存储器分配

大多数C程序在运行时需要额外虚拟存储器时，会使用一个动态存储器分配器，它维护者一个进程的虚拟存储器区域，称为堆。堆是一个请求二进制零的区域，它紧接在未初始化的bss区域后开始，并向上生长，对于每个进程，内核维护着一个变量brk，它指向堆的顶部。

      分配器将堆视为一组不同大小的块的集合来维护，每个块就是虚拟存储器组块，分配的或空闲的。分配的供应用使用或被进程释放，空闲的等待被应用所分配。

      分配器有两种基本风格：

• 显式分配器：要求程序显式地释放任何已分配的块
• 隐式分配器：（也叫垃圾收集器）要求分配器检测何时一个已分配块不再被程序使用，然后释放这个块。

malloc和free函数      

     C标准库提供了称为malloc程序包的显式分配器，可以调用它来从堆中分配块。Malloc不会初始化它返回的存储器。Free用来释放已分配的堆块，注意其参数必须指向一个从malloc中获得的已分配块的起始位置。

为什么要使用动态分配器分配：     

程序使用动态存储器分配的最重要的原因是它经常直到程序实际运行时才知道某些数据结构的大小。

分配器的要求：

• 处理任意请求序列
• 立即响应请求
• 只使用堆
• 对齐块
• 不修改已分配的块。
• 最大化吞吐率：每个单位时间里完成的请求数，包括分配请求和释放请求
• 最大化存储器利用率：可通过峰值利用率Uk来测量，一般为聚集有效载荷Pk和当前堆大小的比值。

 碎片

造成堆利用率低的主要原因，在虽然有未使用的存储器但不能满足分配请求时就称出现碎片。

• 内部碎片：一个已分配块比有效载荷大时发生的
• 外部碎片：是当空闲存储器合计起来足够满足一个分配请求，但没有一个单独的空闲块足够大到可以来处理这个请求而发生的。

 隐式空闲链表：

通过将空闲块和已分配块的头部的信息将这些块连接起来直到最后一个设置了已分配位和大小为零的终止头部，成为一个链表结构。

放置已分配的块：

当应用请求一个K字节的块时，分配器搜索空闲链表，并查找出足够大、可以放置所请求的空闲块的方式。一般有首次适配、下一次适配和最佳适配策略。

分配空闲块：

当查找出空闲块后决定分配这个块中多少空间给分配请求。 

两个选择：

• 用整个空闲块：容易造成内部碎片
• 分割空闲块：一部分变为分割快，一部分变成一个新的空闲块。

获得额外的对存储器

当分配器不能为请求块找到合适的空闲块时，通常会合并空闲块或者向内核请求额外的堆存储器。

合并空闲段块

假碎片：两个相邻的空闲块没有被合为一块。任何实际的分配器都必须合并相邻的空闲块，这个过程称为合并。

• 立即合并
• 推迟合并。

带边界标记的合并 

边界标记：通过在每个块的结尾处添加一个脚部作为一种边界标记，其中脚部就是头部的一个副本，这样分配器就可以通过检查前面一个块的脚部来判断前面一个块的起始位置和状态。注意前面一个块的脚部总是位于当前块起始位置的一个字的距离处。

显式空闲链表：

通过将空闲块组织为某种形式的显式数据结构，即可以将实现这个数据结构的指针放在空闲块的主体里面。这样就可避免想隐式空闲链表那样仍需遍历已分配的块。维护这种链表有后进先出和按地址顺序两种方式。

分离存储：

通过维护多个空闲链表的方式来管理堆，其中每个链表中的块有大致相等的大小，而不同的链表中的块的大小一般不同，通常按大小类来分。

1. 简单分离存储：每个大小类的空闲链表包含大小相等的块，每个块的大小就是这个类中最大元素的大小。
2. 分离适配：分配器维护着一个空闲链表的数组，每个空闲链表是和一个大小类相关联的。通常当分配一个块时，首先确定请求的大小类，然后对适当的空闲链表做首次适配，查找合适块并分割，并将剩余部分插入合适的大小类；或者向下一个更大的大小类的空闲链表中搜索或向系统请求。而当释放时就执行合并并插入适当的空闲链表中。
3.  伙伴系统：一种分离适配的特例，它的大小类均为2的幂，每次分配时它都二分原来的块，直到与所请求的块相匹配。

9．10 垃圾收集

垃圾收集器是一种动态存储分配器，它自动释放程序不再需要的已分配块，这些块被称为垃圾，自动回收堆存储的过程叫做垃圾收集。

一、基本知识

垃圾收集器将存储器视作一张有向可达图，只有当存在一条从任意根节点出发并到达p的有向路径时，才说节点p是可达的，而不可达点就是垃圾。

二、Mark&Sweep垃圾收集器

1. 有两个阶段：
2.  •  标记：标记出根节点的所有可达的和已分配的后继

 •  清楚：释放每个未被标记的已分配块。

3. 相关函数：

ptr定义为typedef void *ptr

 •  ptr isPtr(ptr p)：如果p指向一个已分配块中的某个字，那么就返回一个指向这个块的起始位置的指针b，否则返回NULL

 •  int blockMarked(ptr b)：如果已经标记了块b，那么就返回true

 •  int blockAllocated(ptr b)：如果块b是已分配的，那么久返回ture

 •  void markBlock(ptr b)：标记块b

 •  int length(ptr b)：返回块b的以字为单位的长度，不包括头部

 •  void unmarkBlock(ptr b)：将块b的状态由已标记的改为未标记的

 •  ptr nextBlock(ptr b)：返回堆中块b的后继

三、C保守的Mark&Sweep

——平衡二叉树

C的Mark&Sweep收集器必须是保守的，根本原因是C语言不会用类型标记来标记存储器位置。

9．11 C程序中常见的与存储器有关的错误

1. 间接引用坏指针

常见错误——scanf错误

2. 读未初始化的存储器

常见错误——假设堆存储器被初始化为0

3. 允许栈缓冲区溢出

常见错误——缓冲区溢出错误

4. 假设指针和它们指向的对象是相同大小的

在远处起作用action at distance

5. 造成错位错误
6. 引用指针，而不是它所指向的对象
7. 误解指针运算
8. 引用不存在的变量
9. 引用空堆块中的数据
10. 引起存储器泄露