2017-2018-1 20155330 《信息安全系统设计基础》第14周学习总结

2017-2018-1 20155330 《信息安全系统设计基础》第14周学习总结

教材学习内容总结——第九章 虚拟存储器

虚拟存储器是计算机系统最重要的概念之一，它是对主存的一个抽象

• 三个重要能力：
  • 它将主存看成是一个存储在磁盘上的地址空间的高速缓存，在主存中只保存活动区域，并根据需要在磁盘和主存之间来回传送数据，通过这种方式，高效的使用了主存
  • 它为每个进程提供了一致的地址空间，从而简化了存储器管理
  • 它保护了每个进程的地址空间不被其他进程破坏

物理和虚拟寻址

计算机系统的主存被组织成一个由M个连续的字节大小的单元组成的数组，每字节都有一个唯一的物理地址PA，第一个字节地址为0。

根据物理地址寻址的是物理寻址。

现代处理器使用的是一种称为虚拟寻址的寻址形式。

虚拟存储器被组织为一个由存放在磁盘上的N个连续的字节大小的单元组成的数组。

使用虚拟寻址时，CPU通过生成一个虚拟地址VA来访问主存，这个虚拟地址在被送到存储器之前先转换成适当的物理地址（这个过程叫做地址翻译，相关硬件为存储器管理单元MMU）

地址空间

• 地址空间是一个非负整数地址的有序集合。
  {0,1,2,……}

• 线性地址空间：地址空间中的整数是连续的。

• 虚拟地址空间：CPU从一个有 N=2^n 个地址的地址空间中生成虚拟地址，这个地址空间成为称为虚拟地址空间。

• 地址空间的大小：由表示最大地址所需要的位数来描述。

N=2^n：n位地址空间

主存中的每个字节都有一个选自虚拟地址空间的虚拟地址和一个选自物理地址空间的物理地址。现代系统通常支持32位或64位虚拟地址空间。

虚拟内存作为缓存的工具

• 虚拟存储器：虚拟页VP，每个虚拟页大小为P=2^P平字节

• 物理存储器：物理页PP，也叫页帧，大小也为P字节。

• 在任意时刻，虚拟页面的集合都分为三个不相交的子集：

  • 未分配的：VM系统还未分配（或创建）的页。未分配的块没有任何数据和它们相关联，因此也就不占用任何磁盘空间。
  • 缓存的：当前已缓存在物理内存中的已分配页。
  • 未缓存的：未缓存在物理内存中的已分配页。

• 此为一个有8个虚拟页的小虚拟内存。虚拟页0、3未分配，在磁盘上还不存在。页1、4、6被缓存在物理内存中。页2、5、7已分配，但当前未缓存在主存中。
  

• DRAM缓存的组织结构

  • 不命中处罚很大
  • 是全相联的——任何虚拟页都可以放在任何的物理页中。
  • 替换算法精密
  • 总是使用写回而不是直写。

• 页表就是一个页表条目(PTE)的数组。虚拟地址空间中的每个页在页表中一个固定偏移量处都有一个PTE页表由有效位+n位地址字段组成。
  

  • 如果设置了有效位：

    地址字段表示DRAM中相应的物理页的起始位置，这个物理页中缓存了该虚拟页

  • 如果没有设置有效位：

    • 空地址：

      表示该虚拟页未被分配

    • 不是空地址：

      这个地址指向该虚拟页在磁盘上的起始位置。

• 有效位表明该虚拟页当前是否被缓存在DRAM中。如果设置了有效位，那么地址字段就表示DRAM中相应的物理页的起始位置，这个物理页中缓存了该虚拟页。

• 页命中

  • 例：VP2被缓存在DRAM中。
    

• DRAM缓存不命中称为缺页。

  • 缺页异常：会调用内核中的缺页异常处理程序，选择一个牺牲页。
  • 页：虚拟存储器的习惯说法，就是块
  • 交换=页面调度：磁盘和存储器之间传送页的活动
  • 按需页面调度：直到发生不命中时才换入页面的策略，所有现代系统都使用这个。

• 虚拟存储器中的局部性

  局部性原则保证了在任意时刻，程序将往往在一个较小的活动页面集合上工作，这个集合叫做工作集/常驻集。

  所以只要程序有良好的时间局部性，虚拟存储器系统就能工作的相当好。

虚拟内存作为内存管理的工具

• 操作系统为每个进程提供了一个独立的页表，也就是一个独立的虚拟地址空间。
• 多个虚拟页面可以映射到同一个共享物理页面上。
• 存储器映射：将一组连续的虚拟页映射到任意一个文件中的任意位置的表示法。
• VM简化了链接和加载、代码和数据共享，以及应用程序的内存分配。

虚拟存储器作为内存保护的工具

• PTE的三个许可位：
  • SUP：表示进程是否必须运行在内核模式下才能访问该页
  • READ：读权限
  • WRITE：写权限
    
• 如果一条指令违反了许可条件，那么CPU就触发一个一般保护故障，将控制传递给一个内核中的异常处理程序。Linux shell一般将这种异常报告为“段错误”。

地址翻译

• 地址翻译是一个N元素的虚拟地址空间（VAS）中的元素和一个M元素的物理地址空间(PAS)中元素之间的映射
• MMU利用VPN选择适当的PTE。
• PPO=VPO。
• 当页面命中时，CPU动作：
  1. 处理器生成虚拟地址，传给MMU
  2. MMU生成PTE地址，并从高速缓存/主存请求得到它
  3. 高速缓存/主存向MMU返回PTE
  4. MMU构造物理地址，并把它传给高速缓存/主存
  5. 高速缓存/主存返回所请求的数据给处理器。
• 处理缺页时：
  1. 处理器生成虚拟地址，传给MMU
  2. MMU生成PTE地址，并从高速缓存/主存请求得到它
  3. 高速缓存/主存向MMU返回PTE
  4. PTE中有效位为0，触发缺页异常
  5. 确定牺牲页
  6. 调入新页面，更新PTE
  7. 返回原来的进程，再次执行导致缺页的指令，会命中
• 多级页表——采用层次结构，用来压缩页表。
• 以两层页表层次结构为例，好处是：
  1. 如果一级页表中的一个PTE是空的，那么相应的二级页表就根本不会存在
  2. 只有一级页表才需要总是在主存中，虚拟存储器系统可以在需要时创建、页面调入或调出二级页表，只有最经常使用的二级页表才缓存在主存中。
     
• 利用TLB加速地址翻译：所有的地址翻译步骤都是在芯片上的MMU中执行的。
• 用来压缩页表的常用方法是使用层次结构的页表。
• 访问设备时引荐如何划分虚拟地址和物理地址的位：
  • TLB：利用VPN的位进行虚拟寻址。
  • 页表：用索引它的VPN来标识每个PTE。但这些VPN并不是页表的一部分，也不储存在内存中。
  • 高速缓存：直接映射的缓存是通过物理地址中的字段寻址。

案例研究：Intel Core i7/Linux 内存系统

• Core i7地址翻译过程
• Linux缺页处理

内存映射

• 虚拟内存区域可以映射到两种类型的对象中的一种：
  • Linux文件系统中的普通文件：一个区域可以映射到一个普通磁盘文件的连续部分。
  • 匿名文件。

动态内存分配

• 动态内存分配器维护着一个进程的虚拟内存区域，称为堆。
• 分配器将堆视为一组不同大小的块的集合进行维护。
• 分配器有两种基本风格，都要求应用显式地分配块，不同之处在于由哪个实体来负责释放已分配的块：
  • 显式分配器：显式地释放任何已分配的块。
  • 隐式分配器：要求分配器检测一个已分配块何时不再被程序所使用，那么就释放这个块。也叫做垃圾收集器。
• 显式分配器的要求和目标：
  • 处理任意请求序列。
  • 立即响应请求。
  • 只使用堆。
  • 对齐块（对齐要求）。
  • 不修改已分配的块。
• 分配器的目标就是在整个序列中使峰值利用率U^(n-1)最大化。
• 造成堆利用率很低的主要原因是一种称为碎片的现象。有两种形式：内部碎片和外部碎片。
  • 内部碎片：在一个已分配块比有效载荷大时发生。
  • 外部碎片：当空闲内存合计起来足够满足一个分配请求，但是没有一个单独的空闲块足够大可以来处理这个请求时发生。

本章习题

1. 

   • 解：

   |虚拟地址位数(n)|虚拟地址数(N)|最大可能的虚拟地址|
   |--|--|--|
   |8|2^(8)=256|2(8)-1=255|
   |16|2^{(*16*)=64K**|2}(16)-1=64K-1|
   |32|2^(32)=4G|**2(32)-1=4G-1|
   |48|2^{(*48*)=256T**|2}(48)-1=256T-1|
   |64**|2^{(64)=16384P|2}(64)-1=16384P-1|

2. 

   • 解：

   拟地址大小(n)	页大小(P)	PTE数量
   6	4K	16
   6	8K	8
   2	4K	1M
   2	8K	512K

3. 

   • 解：

   VPN位数	VPO位数	PPN位数	PPO位数
   KB	22	10	14
   KB	21	11	13
   KB	20	12	12
   KB	19	13	11

4. 

   • 解：

   A. 00 0011 1101 0111

   B.

   数	值
   PN	0xf
   LB索引	0x3
   LB标记	0x3
   LB命中？（是/否）	Y
   页？（是/否）	N
   PN	0xd

   C.0011 0101 0111

   D.

   数	值
   O	0x3
   I	0x5
   T	0xd
   速缓存命中？（是/否）	Y
   速缓存字节返回	0x1d

5. 

   • 代码实现：

   #include"csapp.h"  
   
   void mmapcopy(int fd,int fd1,int size){  
   	char *bufp;  
       bufp =(char *)mmap(NULL,size,PROT_READ,MAP_PRIVATE,fd,0); 
       write(1,bufp,size);
       munmap(bufp,size);
       return;  
   }  
   
   int main(int argc,char **argv){  
       struct stat _stat; 
       int fd,fd1;  
       if(argc != 2){  
           printf("usage :%s <filename>",argv[0]);  
           exit(0);  
       }  
       fd = open(argv[1],O_RDONLY,0);  
       fstat(fd,&_stat);
       mmapcopy(fd,fd1,_stat.st_size);    
       return 0;  
   }  
   

   • 运行结果：

6. 

   • 解：

   求	块大小(十进制字节)	块头部（十六进制）
   alloc(1)	8	0x9
   alloc(5)	16	0x11
   alloc(12)	16	0x11
   alloc(13)	24	0x19

7. 

   • 解：

   小块大小（字节）

   2

   6

代码托管

结对及互评

本周结对学习情况

• 20155321
• 结对学习内容
  - 第9章 虚拟存储器

学习进度条

	代码行数（新增/累积）	博客量（新增/累积）	学习时间（新增/累积）	重要成长
目标	5000行	30篇	400小时
第一周	0/0	1/1	10/10
第二周	63/63	1/2	8/18
第三周	31/94	1/3	18/36
第四周	265/329	1/4	17/53
第五周	106/435	2/6	18/71
第六周	211/646	2/8	21/92
第七周	1420/2066	2/10	17/109
第八周	1061/3127	1/11	17/126
第九周	1458/4585	3/14	20/146
第十周	1410/5995	1/15	20/166
第十一周	779/6774	2/17	18/184
第十三周	326/7100	2/19	20/204
第十四周	23/7123	1/20	30/234

尝试一下记录「计划学习时间」和「实际学习时间」，到期末看看能不能改进自己的计划能力。这个工作学习中很重要，也很有用。
耗时估计的公式
：Y=X+X/N ，Y=X-X/N，训练次数多了，X、Y就接近了。

参考：软件工程软件的估计为什么这么难，软件工程 估计方法

• 计划学习时间:30小时

• 实际学习时间:30小时

参考资料

• 《深入理解计算机系统V3》学习指导