• Linux内存:物理内存管理概述


    内存中的物理内存管理

    概述

    一般来说,linux内核一般将处理器的虚拟地址空间划分为2部分。底部比较大的部分用于用户进程,顶部则专用于内核。
    在IA-32系统上,地址空间在用户进程和内核之间划分的典型比例是3:1。给出4GB的虚拟地址空间,3GB用于用户空间,而1GB用户内核。
    4GB是32位系统上可以寻址的最大内存2的32次方为4GB。

    在64位计算机上,由于可用的地址空间非常巨大,因此不需要搞点内存模式。

    有2中类型的计算机以不同方法管理内存

    1. UMA计算机

    一致性内存访问,uniform mmeory access,将可用内存以连续方式组织起来。SMP系统中的每个处理器访问各个内存区都是一样快。

    1. NUMA计算机

    非一致内存访问,non-uniform memory access,多处理器计算机。系统的各个CPU都有自己本地内存,可支持特别快速访问。各个处理器通过总线连接起来,以支持对其他CPU的本地内存的访问,比访问本地内存慢些。

    (N)UMA模型中的内存组织

    内核对一致和非一致内存访问系统使用相同的数据结构,因此针对各种不同形式内存布局,各个算法几乎没有什么差别。在UMA系统上,只使用一个NUMA节点来管理整个系统内存。而内存管理的其他部分则相信他们是在处理一个伪NUMA系统。

    首先,内存划分为节点node,用page_date_t表示。每个节点关联到系统的一个处理器。
    然后内存进一步细分。比如对可用于(ISA设备的)DMA操作的内存区是有限制。只有前16M适用,还有一个高端内存区域无法映射。在2者之间还有通用的用于“普通”内存区。因此一个节点由3个内存区域组成。

    • ZONE_DMA
      标记适合DMA的区域。该区域的长度依赖于处理器类型。在IA-32计算机上,一般限制是16M。

    • ZONE_DMA32
      标记了使用32位地址可寻址、适合DMA的内存区域。显然,只有在64位系统上,2种DMA内存域才有差别。在32位计算机上,该内存是空的,即长度为 0M。在AMD64系统上,该内存的长度可能从0到4GB。

    • ZONE_NORMAL
      标记了可直接映射到内核段的普通内存区域。这是在所有体系结构上保证都会存在的唯一内存区域,但无法保证该地址范围对应了实际的物理内存。eg:在AMD64系统有2GB内存,那么所在内存都属于ZONE_DMA32范围,而ZONE_NORMAL则为空。

    • ZONE_HIGHMEM
      标记了超出内核段的物理内存。

    此外内存标记了一个伪内存ZONE_MOVABLE,防止物理内存碎片的机制中需要使用该内存区域。

    各个内存域都关联了一个数组,用来组织属于该内存域的物理内存页(内核称为页帧)。对于每个页帧,都分配了一个struct page 实例以及所需的管理数据。

    graph TD NODE[NODE pg_data_t] -->|ZONE| B(zone) B --> dma[ZONE_DMA] B --> normal[ZONE_NORMAL] normal -->D[page] normal -->E[page] normal -->F[page] B --> high[ZONE_HIGHMEM]

    pg_data_t 表示节点node的基本元素

    数据架构

    1. 节点管理
    pg_data_t 基本元素
    <mmzone.h>

    typedef struct pglist_data {
        struct zone node_zones[MAX_NR_ZONES];  //包含了节点中各内存域的数据结构
        struct zonelist node_zonelists[MAX_ZONELISTS];//指定了备用节点以及其内存域的列表
        int nr_zones; //节点中不同内存域的数目保存此变量中
    
    //指向 page 实例数组的指针,用于描述结点的所有物理内存页。它包含了结点中所有内存域的页
        struct page *node_mem_map;
    
        struct bootmem_data *bdata;
        unsigned long node_start_pfn;
        unsigned long node_present_pages; /* 物理内存页的总数 */
        unsigned long node_spanned_pages; /* 物理内存页的总长度,包含洞在内 */
        int node_id;
        struct pglist_data *pgdat_next;
        wait_queue_head_t kswapd_wait;
        struct task_struct *kswapd;
        int kswapd_max_order;
    } pg_data_t;
    

    2. 内存域
    内存使用zone来描述内存域
    <mmzone.h>

    struct zone {
        /*通常由页分配器访问的字段 */
        unsigned long pages_min, pages_low, pages_high;
        unsigned long lowmem_reserve[MAX_NR_ZONES];
        struct per_cpu_pageset pageset[NR_CPUS];
        
        /*
        * 不同长度的空闲区域
        */
        spinlock_t lock;
        struct free_area free_area[MAX_ORDER];
        ZONE_PADDING(_pad1_)
        
        /* 通常由页面收回扫描程序访问的字段 */
        spinlock_t  lru_lock;
        struct list_head active_list;
        struct list_head inactive_list;
        unsigned long nr_scan_active;
        unsigned long nr_scan_inactive;
        unsigned long pages_scanned; /* 上一次回收以来扫描过的页 */
        unsigned long flags; /* 内存域标志,见下文 */
        
        /* 内存域统计量 */
        atomic_long_t vm_stat[NR_VM_ZONE_STAT_ITEMS];
        int prev_priority;
        ZONE_PADDING(_pad2_)
        
       ... ...
    } ____cacheline_maxaligned_in_smp;
    

    3. 页帧
    页帧代表系统内存的最小单位,对内存中的每个页都会创建struct page 的一个实例。内核程序需要注意保持该结构尽可能小,系统内存同样会分解为大量的页。比如IA-32系统标准页程度为4KB,在主内存为384M时,大约共有100 000页。 内存管理的许多部分都是用页。
    <mm_types.h>

    struct page {
      ... ...
      union {
          atomic_t _mapcount; /* 内存管理子系统中映射的页表项计数,
          * 用于表示页是否已经映射,还用于限制逆向映射搜索。
          */
          unsigned int inuse; /* 用于SLUB分配器:对象的数目 */
      };
      ... ...
    }
    

    page 的定义

    <mm.h>
    struct page {
            unsigned long flags; /* 原子标志,有些情况下会异步更新 */
            atomic_t _count; /* 使用计数,见下文。 */
            union {
                atomic_t _mapcount; /* 内存管理子系统中映射的页表项计数,
                * 用于表示页是否已经映射,还用于限制逆向映射搜索。
                */
                unsigned int inuse; /* 用于SLUB分配器:对象的数目 */
        };
        union {
            struct {
                unsigned long private; /* 由映射私有,不透明数据:
                * 如果设置了PagePrivate,通常用于buffer_heads;
                * 如果设置了PageSwapCache,则用于swp_entry_t;
                * 如果设置了PG_buddy,则用于表示伙伴系统中的阶。
                */
                struct address_space *mapping; /* 如果最低位为0,则指向inode
                * address_space,或为NULL。
                * 如果页映射为匿名内存,最低位置位,
                * 而且该指针指向anon_vma对象:
                * 参见下文的PAGE_MAPPING_ANON。
                */
            };
            ...
            struct kmem_cache *slab; /* 用于SLUB分配器:指向slab的指针 */
            struct page *first_page; /* 用于复合页的尾页,指向首页 */
        };
        union {
            pgoff_t index; /* 在映射内的偏移量 */
            void *freelist; /* SLUB: freelist req. slab lock */
        };
        struct list_head lru; /* 换出页列表,例如由zone->lru_lock保护的active_list!
        */
        
        #if defined(WANT_PAGE_VIRTUAL)
            void *virtual; /* 内核虚拟地址(如果没有映射则为NULL,即高端内存) */
        #endif /* WANT_PAGE_VIRTUAL */
    };
    

    上面的代码看起来很多,要了解具体的步骤还是参考相应的书籍来看

    页表

    层次化的页表用于支持大地址空间快速、高效的管理。
    页表用于建立用户进程的虚拟地址空间和系统物理内存(内存、页帧)之间的关联。页表用于向每个进程提供一致的虚拟地址空间。应用程序看到的地址空间是一个连续的内存区。该表也将虚拟地址映射到了物理内存,因此支持共享内存实现。

    初始化内存管理

    内存初始化,在许多CPU上,必须显示设置适用于Linux内核的内存模型。例如在IA32系统上必须先切换到保护模式,然后内核才能检测可用内存和寄存器。在初始化过程中,还必须建立内存管理的数据结构,一起许多其他事务。

    start_kernel的代码流程图:

    graph TD a[start_kernel] --> b[setup_arch] b-->c[setup_pr_cpu_areas] c-->d[build_all_zonelists] d-->e[mem_init] e-->f[setup_per_cpu_pageset]
    • setup_arch 是一个特定于体系结构的设置函数,其中一项任务是负责初始化自举分配器。
    • 在SMP系统上, setup_per_cpu_areas 初始化源代码中(使用 per_cpu 宏)定义的静态 per-cpu
      变量,这种变量对系统中的每个CPU都有一个独立的副本。此类变量保存在内核二进制映像的
      一个独立的段中。 setup_per_cpu_areas 的目的是为系统的各个CPU分别创建一份这些数据
      的副本。
      在非SMP系统上该函数是一个空操作。
    • build_all_zonelists 建立结点和内存域的数据结构(见下文)。
    • mem_init 是另一个特定于体系结构的函数,用于停用bootmem分配器并迁移到实际的内存管
      理函数,稍后讨论。
    • kmem_cache_init 初始化内核内部用于小块内存区的分配器。
    • setup_per_cpu_pageset 从上文提到的 struct zone ,为 pageset 数组的第一个数组元素分配
      内存。分配第一个数组元素,换句话说,就是意味着为第一个系统处理器分配。系统的所有
      内存域都会考虑进来。

    物理内存的管理

    内核初始化完成后,内存管理的责任就由伙伴系统承担了。

    伙伴系统的结构

    系统内存中的每个物理内存页(页帧),都对应一个struct page实例。 每个内存域都关联了一个struct zone的实例。
    <mmzone.h>

    struct zone {
        ... ...
        /*
        * 不同长度的空闲区域
        */
        struct free_area free_area[MAX_ORDER];
        ... ...
    };
    

    free_area 是一个辅助数据结构
    <mmzone.h>

    struct free_area {
    struct list_head free_list[MIGRATE_TYPES];
    unsigned long nr_free;
    };
    

    nr_free 自定了当前内存区中空间页块的数目(对0阶内存逐页计算,对1阶内存区计算页对的数目,对2阶内存区计算页对的数据,依次类推)。
    free_list 用于连接空闲的链表。
    free_area[] 数组中各个元素的所有也解释为阶,用于指定对于链表中的连续内存区包含多少个帧。 第0个链表包含的内存为单页2的零次方为1,第1个链表管理的内存区为2页(2的一次方),依次类推。

    slab分配器

    内核也经常分配内存。但是用上面伙伴系统分配内存太大了。如果需要一个10个字符的字符串分配空间,分配一个4KB或者更多空间的页面,浪费空间。解决方案就是将页拆分为更小的单位,可以容纳大量的小对象。

    slab不仅能作为小内存的分配器,也可以作为一种缓存使用,主要是针对经常分配并释放的对象。通过建立slab缓存,内核就能储备一些对象,供后续使用。

  • 相关阅读:
    Algorithm Gossip (48) 上三角、下三角、对称矩阵
    .Algorithm Gossip (47) 多维矩阵转一维矩阵
    Algorithm Gossip (46) 稀疏矩阵存储
    Algorithm Gossip (45) 费氏搜寻法
    Algorithm Gossip (44) 插补搜寻法
    Algorithm Gossip (43) 二分搜寻法
    Algorithm Gossip (42) 循序搜寻法(使用卫兵)
    Algorithm Gossip (41) 基数排序法
    Algorithm Gossip (40) 合并排序法
    AlgorithmGossip (39) 快速排序法 ( 三 )
  • 原文地址:https://www.cnblogs.com/jiujuan/p/12054692.html
Copyright © 2020-2023  润新知