目录
堆的概述
什么是堆
堆用来在程序运行时动态的分配内存，对其实就是虚拟空间里从地址向高地址增长的连续的线性区域。
堆的基本操作
- void *malloc(unsigned int size)：作用是在内存的动态存储区中分配一个长度为size的连续空间。此函数的返回值是分配区域的起始地址，或者说，此函数是一个指针型函数，返回的指针指向该分配域的开头位置。
- void free(void *ptr)：释放之前调用 calloc、malloc 或 realloc 所分配的内存空间。
堆操作背后的系统调用
- brk()：将数据段(.data)的最高地址指针_edata往高地址推。（从堆头开始，参数为地址）
- mmap()：在进程的虚拟地址空间中（堆和栈中间，称为文件映射区域的地方）找一块空闲的虚拟内存。（分配大于128k）
- sbrk()：将地址指针往高地址推。（从当前指针位置开始，参数为指针增量）
- mummap()：删除地址空间。
堆的相关数据结构
微观结构
malloc_chuck
申请的内存chunk在ptmalloc内部用malloc_chunk结构体表示。
malloc_chunk的一些字段
- prev_size：如果该 chunk 的物理相邻的前一地址chunk（两个指针的地址差值为前一chunk大小）是空闲的话，那该字段记录的是前一个 chunk 的大小(包括 chunk 头)。否则，该字段可以用来存储物理相邻的前一个chunk 的数据。这里的前一 chunk 指的是较低地址的 chunk。
- size：该 chunk 的大小，大小必须是 2 * SIZE_SZ 的整数倍。如果申请的内存大小不是 2 * SIZE_SZ 的整数倍，会被转换满足大小的最小的 2 * SIZE_SZ 的倍数。32 位系统中，SIZE_SZ 是 4；64 位系统中，SIZE_SZ 是 8。 该字段的低三个比特位对 chunk 的大小没有影响，它们从高到低分别表示:
- NON_MAIN_ARENA：记录当前 chunk 是否不属于主线程，1表示不属于，0表示属于。
- IS_MAPPED：记录当前 chunk 是否是由 mmap 分配的。
- PREV_INUSE：记录前一个 chunk 块是否被分配。一般来说，堆中第一个被分配的内存块的 size 字段的P位都会被设置为1，以便于防止访问前面的非法内存。当一个 chunk 的 size 的 P 位为 0 时，我们能通过 prev_size 字段来获取上一个 chunk 的大小以及地址。这也方便进行空闲chunk之间的合并。
- fd，bk：chunk 处于分配状态时，从 fd 字段开始是用户的数据。chunk 空闲时，会被添加到对应的空闲管理链表中，其字段的含义如下:
- fd：指向下一个（非物理相邻）空闲的 chunk。
- bk：指向上一个（非物理相邻）空闲的 chunk。
- 通过 fd 和 bk 可以将空闲的 chunk 块加入到空闲的 chunk 块链表进行统一管理。
- fd_nextsize， bk_nextsize：也是只有 chunk 空闲的时候才使用，不过其用于较大的 chunk（large chunk）。
- fd_nextsize：指向前一个与当前 chunk 大小不同的第一个空闲块，不包含 bin 的头指针。（指向比它大的空闲块）
- bk_nextsize：指向后一个与当前 chunk 大小不同的第一个空闲块，不包含 bin 的头指针。（指向比它小的空闲块）
- 一般空闲的 large chunk 在 fd 的遍历顺序中，按照由大到小的顺序排列。这样做可以避免在寻找合适chunk 时挨个遍历。
chunk相关宏
- chunk与mem指针头部的转换
- define chunk2mem(p) ((void *) ((char *) (p) + 2 * SIZE_SZ))
- define mem2chunk(mem) ((mchunkptr)((char *) (mem) -2 * SIZE_SZ))
- 最小的chunk大小
- define MIN_CHUNK_SIZE (offsetof(struct malloc_chunk, fd_nextsize))（offsetof 函数计算出 fd_nextsize 在 malloc_chunk 中的偏移，说明最小的 chunk 至少要包含 bk 指针。）
- define MINSIZE (unsigned long) (((MIN_CHUNK_SIZE + MALLOC_ALIGN_MASK) &~MALLOC_ALIGN_MASK))（满足SIZE_SZ的最小上界）
- 检查分配给用户的内存是否对齐
- define aligned_OK(m) (((unsigned long) (m) & MALLOC_ALIGN_MASK) == 0)
- define misaligned_chunk(p) ((uintptr_t)(MALLOC_ALIGNMENT == 2 * SIZE_SZ ? (p) : chunk2mem(p)) & MALLOC_ALIGN_MASK)
- 请求字节数判断
- define REQUEST_OUT_OF_RANGE(req) ((unsigned long) (req) >= (unsigned long) (INTERNAL_SIZE_T)(-2 * MINSIZE))
- 将用户请求内存大小转为实际分配内存大小
- define request2size(req) (((req) + SIZE_SZ + MALLOC_ALIGN_MASK < MINSIZE) ? MINSIZE : ((req) + SIZE_SZ + MALLOC_ALIGN_MASK) & ~MALLOC_ALIGN_MASK)
- define checked_request2size(req, sz) if (REQUEST_OUT_OF_RANGE(req)) { __set_errno(ENOMEM); return 0;} (sz) = request2size(req);
- 标记位相关
- define PREV_INUSE 0x1
- define prev_inuse(p) ((p)->mchunk_size & PREV_INUSE)
- size field is or'ed with IS_MMAPPED if the chunk was obtained with mmap()
- define chunk_is_mmapped(p) ((p)->mchunk_size & IS_MMAPPED)
- define NON_MAIN_ARENA 0x4
- define SIZE_BITS (PREV_INUSE | IS_MMAPPED | NON_MAIN_ARENA)+
- 获取chunk size
- define chunksize(p) (chunksize_nomask(p) & ~(SIZE_BITS))
- define chunksize_nomask(p) ((p)->mchunk_size)
- 获取下一个物理相邻的chunk
- define next_chunk(p) ((mchunkptr)(((char *) (p)) + chunksize(p)))
- 获取前一个chunk的信息
- define prev_size(p) ((p)->mchunk_prev_size)
- define prev_chunk(p) ((mchunkptr)(((char *) (p)) - prev_size(p)))
- 当前chunk使用状态相关操作
- define inuse(p)((((mchunkptr)(((char *) (p)) + chunksize(p)))->mchunk_size) & PREV_INUSE)
- define set_inuse(p)((mchunkptr)(((char *) (p)) + chunksize(p)))->mchunk_size |= PREV_INUSE
- define clear_inuse(p)((mchunkptr)(((char *) (p)) + chunksize(p)))->mchunk_size &= ~(PREV_INUSE）
- 设置chunk的size字段
- define set_head_size(p, s)((p)->mchunk_size = (((p)->mchunk_size & SIZE_BITS) | (s)))
- define set_head(p, s) ((p)->mchunk_size = (s))
- define set_foot(p, s) (((mchunkptr)((char *) (p) + (s)))->mchunk_prev_size = (s))
- 获取指定偏移的chunk
- define chunk_at_offset(p, s) ((mchunkptr)(((char *) (p)) + (s)))
- 指定偏移处chunk使用状态相关操作
- define inuse_bit_at_offset(p, s)(((mchunkptr)(((char *) (p)) + (s)))->mchunk_size & PREV_INUSE)
- define set_inuse_bit_at_offset(p, s)(((mchunkptr)(((char *) (p)) + (s)))->mchunk_size |= PREV_INUSE)
- define clear_inuse_bit_at_offset(p, s)(((mchunkptr)(((char *) (p)) + (s)))->mchunk_size &= ~(PREV_INUSE))
bin
根据空闲的 chunk 的大小以及使用状态将 chunk 初步分为4类：fast bins，small bins，large bins，unsorted bin
数组中的bin
- unsorted bin：这里面的chunk没有进行排序，存储的chunk比较杂。
- small bin：索引从 2 到 63 的 bin，同一个 small bin 链表中的 chunk 的大小相同。两个相邻索引的 small bin 链表中的 chunk 大小相差的字节数为2个机器字长，即32位相差8字节，64位相差16字节。
- large bins：small bins后面的bin，large bins中的每一个 bin 都包含一定范围内的chunk，其中的chunk按fd指针的顺序从大到小排列。相同大小的chunk同样按照最近使用顺序排列。
- 上述这些bin的排布都会遵循一个原则：任意两个物理相邻的空闲chunk不能在一起。
fastbin
unsorted bin的来源
- 当一个较大的chunk被分割成两半后，如果剩下的部分大于MINSIZE，就会被放到unsorted bin中。
- 释放一个不属于fast bin的chunk，并且该chunk不和top chunk紧邻时，该chunk会被首先放到unsorted bin中。
last remainder
在用户使用malloc请求分配内存时,ptmalloc2找到的chunk可能并不和申请的内存大小一致，这时候就将分割之后的剩余部分称之为last remainder chunk，unsort bin也会存这一块。top chunk分割剩下的部分不会作为last remainer。
宏观结构
arena
我们知道一个线程申请的1个/多个堆包含很多的信息：二进制位信息，多个malloc_chunk信息等这些堆需要东西来进行管理，那么Arena就是来管理线程中的这些堆的。
heap_info
程序刚开始执行时，每个线程是没有heap区域的。当其申请内存时，就需要一个结构来记录对应的信息，而heap_info的作用就是这个。而且当该heap的资源被使用完后，就必须得再次申请内存了。此外，一般申请的heap是不连续的，因此需要记录不同heap之间的链接结构。
该数据结构是专门为从Memory Mapping Segment处申请的内存准备的，即为非主线程准备的。
主线程可以通过sbrk()函数扩展program break location获得（直到触及Memory Mapping Segment），只有一个heap，没有heap_info数据结构。
typedef struct _heap_info
{
mstate ar_ptr; /* 堆对应的 arena 的地址 */
struct _heap_info *prev; /* 由于一个线程申请一个堆之后，可能会使用完，之后就必须得再次申请。因此，一个可能会有多个堆。prev即记录了上一个 heap_info 的地址。这里可以看到每个堆的 heap_info 是通过单向链表进行链接的 */
size_t size; /* size 表示当前堆的大小 */
size_t mprotect_size; /* 最后一部分确保对齐 */
/* Make sure the following data is properly aligned, particularly
that sizeof (heap_info) + 2 * SIZE_SZ is a multiple of
MALLOC_ALIGNMENT. */
char pad[-6 * SIZE_SZ & MALLOC_ALIGN_MASK];
} heap_info;
malloc_state
该结构用于管理堆，记录每个arena当前申请的内存的具体状态，比如说是否有空闲chunk，有什么大小的空闲chunk等等。无论是thread arena还是main arena，它们都只有一个malloc state结构。由于thread的arena可能有多个，malloc state结构会在最新申请的arena中。注意，main arena的malloc_state并不是 heap segment的一部分，而是一个全局变量，存储在libc.so的数据段。
struct malloc_state {
/* 该变量用于控制程序串行访问同一个分配区，当一个线程获取了分配区之后，其它线程要想访问该分配区，就必须等待该线程分配完成候才能够使用。 */
__libc_lock_define(, mutex);
/* flags记录了分配区的一些标志，比如 bit0 记录了分配区是否有 fast bin chunk ，bit1 标识分配区是否能返回连续的虚拟地址空间。 */
int flags;
/* 存放每个 fast chunk 链表头部的指针 */
mfastbinptr fastbinsY[ NFASTBINS ];
/* 指向分配区的 top chunk */
mchunkptr top;
/* 最新的 chunk 分割之后剩下的那部分 */
mchunkptr last_remainder;
/* 用于存储 unstored bin，small bins 和 large bins 的 chunk 链表。 */
mchunkptr bins[ NBINS * 2 - 2 ];
/* ptmalloc 用一个 bit 来标识某一个 bin 中是否包含空闲 chun..*/
unsigned int binmap[ BINMAPSIZE ];
/* Linked list, points to the next arena */
struct malloc_state *next;
/* Linked list for free arenas. Access to this field is serialized
by free_list_lock in arena.c. */
struct malloc_state *next_free;
/* Number of threads attached to this arena. 0 if the arena is on
the free list. Access to this field is serialized by
free_list_lock in arena.c. */
INTERNAL_SIZE_T attached_threads;
/* Memory allocated from the system in this arena. */
INTERNAL_SIZE_T system_mem;
INTERNAL_SIZE_T max_system_mem;
};
深入了解堆实现
堆初始化
malloc_consolidate()
函数实现步骤
1、若 get_max_fast() 返回 0，则进行堆的初始化工作，然后进入第 7 步。
2、从 fastbin 中获取一个空闲 chunk。
3、尝试向后合并。
4、若向前相邻 top_chunk，则直接合并到 top_chunk，然后进入第 6 步。
5、否则尝试向前合并后，插入到 unsorted_bin 中。
6、获取下一个空闲 chunk，回到第 2 步，直到所有 fastbin 清空后进入第 7 步。
7、退出函数。
创建堆
unlink
unlink 用来将一个双向链表（只存储空闲的 chunk）中的一个元素取出来，可能在以下地方使用
- malloc
- 从恰好大小合适的 large bin 中获取 chunk
- 从比请求的 chunk 所在的 bin 大的 bin 中取 chunk
- Free
- 后向合并，合并物理相邻低地址空闲 chunk
- 前向合并，合并物理相邻高地址空闲 chunk（除了 top chunk）
- malloc_consolidate
- 后向合并，合并物理相邻低地址空闲 chunk
- 前向合并，合并物理相邻高地址空闲 chunk（除了 top chunk）
- realloc
- 前向扩展，合并物理相邻高地址空闲 chunk（除了top chunk）
在unlink后，拖链的p的fd跟bk的指针都没有变化，我们可以利用这个泄露地址。
- 前向扩展，合并物理相邻高地址空闲 chunk（除了top chunk）
- libc 地址
- P 位于双向链表头部，bk 泄漏
- P 位于双向链表尾部，fd 泄漏
- 双向链表只包含一个空闲 chunk 时，P 位于双向链表中，fd 和 bk 均可以泄漏
- 泄漏堆地址，双向链表包含多个空闲 chunk
- P 位于双向链表头部，fd 泄漏
- P 位于双向链表中，fd 和 bk 均可以泄漏
- P 位于双向链表尾部，bk 泄漏
申请内存块
_libc_malloc
函数实现步骤
1、该函数会首先检查是否有内存分配函数的钩子函数（__malloc_hook）
2、接着会寻找一个 arena 来试图分配内存
3、然后调用 _int_malloc 函数去申请对应的内存
4、如果分配失败的话，ptmalloc 会尝试再去寻找一个可用的 arena，并分配内存
5、如果申请到了 arena，那么在退出之前还得解锁。
6、判断目前的状态是否满足以下条件
+ 要么没有申请到内存
+ 要么是 mmap 的内存
+ 要么申请到的内存必须在其所分配的arena中
7、最后返回内存
_int_malloc
1、它根据用户申请的内存块大小以及相应大小 chunk 通常使用的频度（fastbin chunk, small chunk, large chunk），依次实现了不同的分配方法
2、它由小到大依次检查不同的 bin 中是否有相应的空闲块可以满足用户请求的内存
3、当所有的空闲 chunk 都无法满足时，它会考虑 top chunk
4、当 top chunk 也无法满足时，堆分配器才会进行内存块申请
chunk不同范围申请实现
-
fastbin
- 得到对应的fastbin的下标
- 得到对应的fastbin的头指针
- 利用fd遍历对应的bin内是否有空闲的chunk块
- 检查取到的 chunk 大小是否与相应的 fastbin 索引一致
- 根据取得的 victim ，利用 chunksize 计算其大小
- 利用fastbin_index 计算 chunk 的索引
- 将获取的到chunk转换为mem模式
- 如果设置了perturb_type, 则将获取到的chunk初始化为 perturb_type ^ 0xff
-
small bin
- 获取 small bin 的索引
- 获取对应 small bin 中的 chunk 指针
- 先执行 victim = last(bin)，获取 small bin 的最后一个 chunk
- 如果 victim = bin ，那说明该 bin 为空
- 如果不相等，那么会有两种情况
- 第一种情况，small bin 还没有初始化
- 执行初始化，将 fast bins 中的 chunk 进行合并
- 第二种情况，small bin 中存在空闲的 chunk
- 获取 small bin 中倒数第二个 chunk
- 检查 bck->fd 是不是 victim，防止伪造
- 设置 victim 对应的 inuse 位
- 修改 small bin 链表，将 small bin 的最后一个 chunk 取出
- 如果不是 main_arena，设置对应的标志
- 将申请到的 chunk 转化为对应的 mem 状态
- 如果设置了 perturb_type , 则将获取到的chunk初始化为 perturb_type ^ 0xff
- 第一种情况，small bin 还没有初始化
-
large bin
- 获取large bin的下标
- 如果存在fastbin的话，会处理 fastbin
-
大循环
如果程序执行到了这里，那么说明 与 chunk 大小正好一致的 bin (fast bin， small bin) 中没有 chunk可以直接满足需求 ，但是large chunk 则是在这个大循环中处理- 尝试从 unsorted bin 中分配用户所需的内存
- unsort bin 遍历
- small request
- 初始取出
- exact fit
- place chunk in small bin
- place chunk in large bin
- 最终取出
- while 最多迭代10000次
- 尝试从 large bin 中分配用户所需的内存
- 寻找较大 chunk
- 找到一个合适的 map
- 找到合适的 bin
- 简单检查 chunk
- 真正取出chunk
- 尝试从 top chunk 中分配用户所需内存
- 尝试从 unsorted bin 中分配用户所需的内存
释放内存块
_libc_free
- 判断是否有钩子函数 __free_hook
- free NULL没有作用
- 将mem转换为chunk状态
- 如果该块内存是mmap得到的
- 根据chunk获得分配区的指针
- 执行释放
内容来源
Linux进程分配内存的两种方式brk和mmap
sbrk与brk的使用
ctfwiki概述
堆漏洞挖掘:02---堆的glibc实现与Arena
ctfwiki堆相关数据结构
浅谈 malloc_consolidate() 函数具体实现
ctfwiki深入理解堆实现