2017-2018-1 20155228 《信息安全系统设计基础》第十一周学习总结

2017-2018-1 20155228 《信息安全系统设计基础》第十一周学习总结

教材学习内容总结

虚拟存储器的概念和作用

为了更加有效地管理内存并且少出错，现代系统提供了一种对主存的抽象概念，叫做虚拟内存(VM)。虚拟内存是硬件异常、硬件地址翻译、主存、磁盘文件和内核软件的完美交互，它为每个进程提供了一个大的、一致的和私有的地址空间。通过一个很清晰的机制，虚拟内存提供了三个重要的能力:

1. 它将主存看成是一个存储在磁盘上的地址空间的高速缓存，在主存中只保存活动区域，并根据需要在磁盘和主存之间来回传送数据，通过这种方式，它高效地使用了主存。
2. 它为每个进程提供了一致的地址空间，从而简化了内存管理。
3. 它保护了每个进程的地址空间不被其他进程破坏。

地址翻译的概念

早期的PC使用物理寻址，而且诸如数字信号处理器、嵌人式微控制器以及Cray超级计算机这样的系统仍然继续使用这种寻址方式。然而，现代处理器使用的是一种称为虚拟寻址(virtual addressing)的寻址形式

使用虚拟寻址，CPU通过生成一个虚拟地址(Virtual Address, VA)来访问主存，这个虚拟地址在被送到内存之前先转换成适当的物理地址。将一个虚拟地址转换为物理地址的任务叫做地址翻译(address translation)。就像异常处理一样，地址翻译需要CPU硬件和操作系统之I间的紧密合作。CPU芯片上叫做内存管理单元(Memory Management Unit,MMU)的专用硬件，利用存放在主存中的查询表来动态翻译虚拟地址，该表的内容由操作系统管理。

存储器映射

Linux通过将一个虚拟内存区域与一个磁盘上的对象(object)关联起来，以初始化这个虚拟内存区域的内容，这个过程称为内存映射(memory mapping)。虚拟内存区域可以映射到两种类型的对象中的一种:

1. Linux文件系统中的普通文件:一个区域可以映射到一个普通磁盘文件的连续部分，例如一个可执行目标文件。文件区(section)被分成页大小的片，每一片包含一个虚拟页面的初始内容。因为按需进行页面调度，所以这些虚拟页面没有实际交换进人物理内存，直到CPU第一次引用到页面(即发射一个虚拟地址，落在地址空间这个页面的范围之内)。如果区域比文件区要大，那么就用零来填充这个区域的余下部分。
2. 匿名文件:一个区域也可以映射到一个匿名文件，匿名文件是由内核创建的，包含的全是二进制零。CPU第一次引用这样一个区域内的虚拟页面时，内核就在物理内存中找到一个合适的牺牲页面，如果该页面被修改过，就将这个页面换出来，用二进制零覆盖牺牲页面并更新页表，将这个页面标记为是驻留在内存中的。注意在磁盘和内存之间并没有实际的数据传送。因为这个原因，映射到匿名文件的区域中的页面有时也叫做请求二进制零的页(demand-zero page)o

无论在哪种情况中，一旦一个虚拟页面被初始化了，它就在一个由内核维护的专门的交换文件(swap file)之间换来换去。交换文件也叫做交换空间(swap space)或者交换区域(swap area)。需要意识到的很重要的一点是，在任何时刻，交换空间都限制着当前运行着的进程能够分配的虚拟页面的总数。

动态存储器分配的方法

虽然可以使用低级的mmap和munmap函数来创建和删除虚拟内存的区域，但是C程序员还是会觉得当运行时需要额外虚拟内存时，用动态内存分配器(dynamic memory allo-cator)更方便，也有更好的可移植性。

动态内存分配器维护着一个进程的虚拟内存区域，称为堆(heap)
)。系统之间细节不同，但是不失通用性，假设堆是一个请求二进制零的区域，它紧接在未初始化的数据区域后开始，并向上生长(向更高的地址)。对于每个进程，内核维护着一个变量brk(读做“break")，它指向堆的顶部。

分配器将堆视为一组不同大小的块(block)的集合来维护。每个块就是一个连续的虚拟内存片(chunk),要么是已分配的，要么是空闲的。已分配的块显式地保留为供应用程序使用。空闲块可用来分配。空闲块保持空闲，直到它显式地被应用所分配。一个已分配的块保持已分配状态，直到它被释放，这种释放要么是应用程序显式执行的，要么是内存分配器自身隐式执行的。

垃圾收集的概念

在诸如C malloc包这样的显式分配器中，应用通过调用malloc和free来分配和释放堆块。应用要负责释放所有不再需要的已分配块。
未能释放已分配的块是一种常见的编程错误。例如，考虑下面的C函数，作为处理的一部分，它分配一块临时存储:

void garbage()
{
int *p=(int *)Malloc(15213)

return;/*Array p is garbage at this point*/
}

因为程序不再需要P，所以在garbage返回前应该释放P。不幸的是，程序员忘了释放这个块。它在程序的生命周期内都保持为已分配状态，毫无必要地占用着本来可以用来满足后面分配请求的堆空间。
垃圾收集器(garbage collector)是一种动态内存分配器，它自动释放程序不再需要的已分配块。这些块被称为垃圾(garbage)<因此术语就称之为垃圾收集器)。自动回收堆存储的过程叫做垃圾收集(garbage collection)。在一个支持垃圾收集的系统中，应用显式分配堆块，但是从不显示地释放它们。在C程序的上下文中，应用调用malloc，但是从不调用free。反之，垃圾收集器定期识别垃圾块，并相应地调用free，将这些块放回到空闲链表中。

C语言中与存储器有关的错误

间接引用坏指针

在进程的虚拟地址空间中有较大的洞，没有映射到任何有意义的数据。如果我们试图间接引用一个指向这些洞的指针，那么操作系统就会以段异常中止程序。而且，虚拟内存的某些区域是只读的。试图写这些区域将会以保护异常中止这个程序。
间接引用坏指针的一个常见示例是经典的scarf错误。假设我们想要使用scarf从stdin读一个整数到一个变量。正确的方法是传递给scarf一个格式串和变量的地址:

scarf(“%d"，&val)

然而，对于C程序员初学者而言(对有经验者也是如此!)，很容易传递val的内容，而不是它的地址:

scarf(”%d"，val)

在这种情况下，scanf将把val的内容解释为一个地址，并试图将一个字写到这个位置。在最好的情况下，程序立即以异常终止。在最糟糕的情况下，val的内容对应于虚拟内存的某个合法的读/写区域，于是我们就覆盖了这块内存，这通常会在相当长的一段时间以后造成灾难性的、令人困惑的后果。

读未初始化的内存

虽然bss内存位置(诸如未初始化的全局C变量)总是被加载器初始化为零，但是对于堆内存却并不是这样的。一个常见的错误就是假设堆内存被初始化为零:

/* Return y=Ax */
int *matvec(int **A, int *x, int n)
{
int i，j:
int *y=(int *)Malloc(n*sizeof(int));
for  (i=0; i<n; i++)
for  (j=0; j<n;  j++)
y[i]+=A[i][j]*x[j];
return y;
}

程序员不正确地假设向量y被初始化为零。正确的实现方式是显式地将y[i]设置为零，或者使用callow

教材学习中的问题和解决过程

动态存储器分配

分配器有两种基本风格。两种风格都要求应用显式地分配块。它们的不同之处在于由哪个实体来负责释放已分配的块。

• 显式分配器(explicit allocator)，要求应用显式地释放任何已分配的块。例如，C标准库提供一种叫做malloc程序包的显式分配器。C程序通过调用malloc函数来分配一个块，并通过调用free函数来释放一个块。C++中的new和delete操作符与C中的malloc和free相当。
• 隐式分配器(implicit allocator)，另一方面，要求分配器检测一个已分配块何时不再被程序所使用，那么就释放这个块。隐式分配器也叫做垃圾收集器(garbage collec-tor)，而自动释放未使用的已分配的块的过程叫做垃圾收集(garbage collection) 。例如，诸如Lisp, ML以及Java之类的高级语言就依赖垃圾收集来释放已分配的块。

代码调试中的问题和解决过程

编写一个C程序mmapcopy.c，使用mmap将一个任意大小的磁盘文件复制到stdout。输入文件的名字必须作为一个命令行参数来传递。

#include "csapp.h"
/* 
*mmapcopy一uses mmap to copy file fd to stdout
*/
void mmapcopy(int fd, int size)
{
    char *bufp;/*ptr to memory-mapped VMarea*/
    bufp=Mmap(NULL, size, PROT_READ, MAP_PRIVATE, fd, 0)
    Write(1，bufp, size);
    return;
}
/*mmapcopy driver*/
int main(int argc, char **argv)
{
    struct stat stat;
    int fd;
    /* Check for   required command-line argument*/
    if(argc !=2)
    {
        printf(”usage: %s <filename>
"，argvf[0]);
        exit (0);
    }
    /*Copy the input to stdout*/
    fd=Open(argv[1]，O_RDONLY, 0);
    fstat(fd, &stat);
    mmapcopy(fd, stat .st_size);
    exit (0);
}

代码托管

本周结对学习情况

201552222

学习进度条

	代码行数（新增/累积）	博客量（新增/累积）	学习时间（新增/累积）	重要成长
目标	5000行	30篇	400小时
第一周	200/200	2/2	20/20
第二周	300/500	2/4	18/38
第三周	500/1000	3/7	22/60
第四周	300/1300	2/9	30/90
第五周	400/900	2/6	6/30
第五周	400/900	2/6	6/30
第六周	200/1100	1/7	6/30
第七周	500/1600	2/9	6/36
第八周	300/1900	1/10	6/42
第九周	1000/2900	3/13	6/48
第十一周	200/3100	2/15	6/56

尝试一下记录「计划学习时间」和「实际学习时间」，到期末看看能不能改进自己的计划能力。这个工作学习中很重要，也很有用。
耗时估计的公式
：Y=X+X/N ，Y=X-X/N，训练次数多了，X、Y就接近了。

参考：软件工程软件的估计为什么这么难，软件工程 估计方法

• 计划学习时间:6小时

• 实际学习时间:6小时

• 改进情况：

(有空多看看现代软件工程 课件
软件工程师能力自我评价表)

参考资料

• 深入理解计算机系统（原书第3版）