前言
不知道大家看完前面一章关于CPU优化，是否受到相应的启发呢？如果遇到任何问题，可以留言和一起探讨这方面的问题。接下来我们介绍一些关于内存方面的知识。内存管理软件包括虚拟内存系统、地址转换、交换、换页和分配。与性能密切相关的内容包括：内存释放、空闲链表、页扫描、交换、进程地址空间和内存分配器。在Linux中，空闲链表通常由分配器消耗，如内核的slab分配器和SLUB,以及用户级分配器(glibc,linux系统)libmalloc、libumem和mtmalloc。
- slab: 内核slab分配器管理特定大小的对象缓存，使他们能够被快速的回收利用，并且避免页分配的开销。适用于处理固定大小结构的内核内存分配。
- slub: 基于slab分配器。它主要是解决slab分配器带来的问题，其中包括移除对象队列，以及每个CPU缓存，把NUMA优化留给页分配器。
- glibc: 结合多种非配器策略的高效分配器，它基于分配请求的长度进行分配。较小的分配来自内存集合，包括用伙伴关系算法合并长度相近的单位。较大的分配用树高效地搜索空间。对于非常大的分配，会转到mmap（）。
回收大多是从内核的slab分配器缓存释放内存。这些缓存包含slab大小的未使用内存块,以供充裕。内核页面换出守护进程管理利用换页释放内存。当主存中可用的空闲链表低于阈值时，页面换出守护进程会开始页扫描。页面换出守护进程被称作kswapd（）,它扫描非活动和活动内存的LRU页列表以释放页面。它的激活基于空闲内存核两个提供滞后的阈值。一旦空闲内存达到最低阈值,kswapd运行于同步模式，按需求释放内存页。该最低阈值是可调的(vm.min_free_kbytes)，并且其他阈值基于它按比例放大。
相关概念
- 主存：物理内存，描述了计算机的告诉数据存储区域，通常是动态随机访问内存；
- 虚拟内存: 抽象的主从概念，它几乎是无限的和非竞争性的；
- 常驻内存：当前处于主存中的内存；
- 匿名内存：无文件系统位置或者路径名的内存。它包括进程地址空间的工作数据，称作堆；
- 地址空间：内存上下文。每个进程和内核都有对应的虚拟地址空间；
- 页：操作系统和CPU使用的内存单位。它一直以来是4KB和8KB。现代的处理器允许多种页大小以支持更大的页面尺寸，以及更大的透明大页；
- 缺页：无效的内存访问；
- 换页：在主存与存储设备间交换页；
- 交换：指页面从主从转移到交换设备（迁移交换页）；
- 交换（空间）：存放换页的匿名数据和交换进程的磁盘空间；
进程地址空间是一段范围的虚拟页，由硬件和软件同事管理，按需映射到物理页。这些地址被划分为段以存放线程栈、进程可执行、库和堆。应用程序可执行段包括分离的文本和数据段。库也由分离的可执行文本和数据段组成。分别如下：
- 可执行文本：包括可执行的进程CPU指令。由文件系统中的二进制应用程序文本映射而来。它是只读的并带有执行的权限。
- 可执行数据：包括已初始化的变量，由二进制应用程序的数据段映射而来。有读写权限，因此这些变量在应用程序的运行过程中可以被修改。
- 堆：应用程序的临时工作内存并且是匿名内存。它按需增长并且用mollac()分配。
- 栈：运行中的线程栈，映射为读写。
对于内存而言，经常关注的信息如下：
- 页扫描：寻找连续的页扫描（超过10秒），它是内存压力的预兆。可以使用sar -B并查看pgscan列。
- 换页：换页是系统内存低的进一步征兆。可以使用vmstat 并查看si（换入） 和 so（换出）列。
- 可用内存：查看和关注buffer和cache值；
- OOM终结者：在系统日志/var/log/messages或者dmesg中查看，直接搜索"Out of memory"；
- top/prstat：查看那些进程和用户是常驻物理内存和虚拟内存的最大使用者；
- stap/perf：内存分配的栈跟踪，确认内存使用的原因；
如何快速定位内存故障？
1. 首先应该检查饱和度（作为释放内存压力的衡量，页扫描、换页、交换和Linux OOM终结者牺牲进度的使用程度），因为持续饱和状态是内存问题的征兆。这些指标可以通过vmstat、sar、dmesg等操作系统工具轻易获得。对于配置了独立磁盘交换设备的系统，任何交换设备活动都是内存压力的征兆。
2. 使用率（使用内存和可用内存，物理内存和虚拟内存都应该关注）通常较难读取和解读。比如一个系统可能会报告只有几十兆内存可用，但事实上它有10GB的文件系统缓存在，需要时立刻被应用程序回收利用。虚拟内存使用，这应该也是我们关注的一个点。
3. 内存错误（Out of memory）一般都是由应用程序报告。
关于内存性能排查命令
vmstat
[root@zbredis-30104 ~]# vmstat procs -----------memory---------- ---swap-- -----io---- --system-- -----cpu----- r b swpd free buff cache si so bi bo in cs us sy id wa st 0 0 0 14834208 158384 936512 0 0 0 0 1 3 0 0 100 0 0
提示：
swpd：交换处的内存量；
free：空闲的可用内存；
buff: 用户缓冲缓存的内存；
cache: 用于页缓存的内存；
si: 换入的内存(换页);
so：换出的内存（换页）；
如果si 和 so列一直非0,那么系统正存在内存压力并换页到交换设备或文件。经常使用参数为"vmstat 1 -Sm"和"vmstat -a 1"；
sar
-B: 换页统计信息；
-H: 大页面统计信息
-r: 内存使用率
-R：内存统计信息
-S：交换空间统计信息
-W：交换统计信息
slabtop
通过slab分配器实时输出内核slab缓存使用情况；
[root@localhost ~]# slabtop -sc Active / Total Objects (% used) : 297064 / 300262 (98.9%) Active / Total Slabs (% used) : 6638 / 6638 (100.0%) Active / Total Caches (% used) : 66 / 96 (68.8%) Active / Total Size (% used) : 80612.41K / 81749.09K (98.6%) Minimum / Average / Maximum Object : 0.01K / 0.27K / 8.00K OBJS ACTIVE USE OBJ SIZE SLABS OBJ/SLAB CACHE SIZE NAME 7648 7528 98% 2.00K 478 16 15296K kmalloc-2048 65142 65142 100% 0.19K 1551 42 12408K dentry 17985 17985 100% 0.58K 327 55 10464K inode_cache 7110 7110 100% 1.06K 237 30 7584K xfs_inode 10880 10160 93% 0.50K 170 64 5440K kmalloc-512 30564 30564 100% 0.11K 849 36 3396K sysfs_dir_cache
输出包括顶部的汇总和slab列表。其中包括对象数量(OBJS)、多少是活动的(ACTIVE)、使用百分比(USE)、对象大小(OBJ SIZE,字节)和缓存大小(CACHE SIZE,字节)。
ps
可以列出包括内存使用统计信息在内的所有进程细节；
%MEM: 主存使用(物理内存、RSS)占总内存的百分比；
RSS：常驻集合大小；
VSZ: 虚拟内存大小；
提示：RSS显示主存使用，它也包括如系统库在内的映射共享段，可能会被几十个进程共享。如果你把RSS列求和，会发现她超过系统内存总和，这是由于重复计算了这部分共享内存。
pmap
[root@localhost ~]# pmap -x 1096 1096: /usr/sbin/mysqld --basedir=/usr --datadir=/var/lib/mysql --plugin-dir=/usr/lib64/mysql/plugin --log-error=/var/log/mysqld.log --pid-file=/var/run/mysqld/mysqld.pid --socket=/var/lib/mysql/mysql.sock Address Kbytes RSS Dirty Mode Mapping 0000000000400000 11960 3468 0 r-x-- mysqld 00000000011ae000 668 240 172 r---- mysqld 0000000001255000 1028 364 208 rw--- mysqld 0000000001356000 340 312 312 rw--- [ anon ] 0000000001887000 7508 7344 7344 rw--- [ anon ] ...省略部分... 00007ffc659e9000 132 72 72 rw--- [ stack ] 00007ffc65ba1000 8 4 0 r-x-- [ anon ] ffffffffff600000 4 0 0 r-x-- [ anon ] ---------------- ------- ------- ------- total kB 961172 121756 116468
内存优化
首先关于内核优化的相关参数
vm.dirty_background_bytes：默认值为0， 触发pdflush后台回写的脏存储器量；
vm.dirty_background_ratio：默认值10， 触发pdflush后台回写脏系统存储器百分比；
vm.dirty_bytes：默认值为0，触发一个写入进程开始回写的脏存储器量；
vm.dirty_ratio：默认值为20，触发一个写入进程开始回写的脏系统存储器比例；
vm.dirty_expire_centisecs：默认值为3000，使用pdflush的脏存储器最小时间；
vm.dirty_writeback_centisecs：默认值为500，pdflush活跃时间间隔(0为停用)；
vm.min_free_kbytes：默认值为 dynamic，设置期望的空闲存储器量（一些内核自动分配器能消耗它）；
vm.overconmmit_memory：默认值为0，0表示利用探索法允许合理的国度分配；1表示一直国度分配；3表示禁止国度分配；
vm.swappiness：默认值为60，相对于页面高速缓存回收更倾向用交换释放存储器的程度；
vm.vfs_cache_pressure：默认值为100，表示回收高速缓存的目录和inode对象的程度。较低的值会保留更多;0意味着从不回收，容器导致存储器耗尽的情况；
提示：
vm.dirty_background_bytes和vm.dirty_background_ratio是互斥的，dirty_bytes 和 dirty_ratio 也是如此，仅能设置一个。vm.swappiness参数对性能会产生显著的影响，建议设置为0;因为应用程序内存能尽可能就地驻留。
最后说明，在现在内核发展过程之中，linux内存页面已经支持大页面和超大页面以及透明大页面等，可以根据自身环境进行适当的调整。红帽企业版 Linux 6 采用第二种方法，即使用超大页面。简单说，超大页面是 2MB 和 1GB 大小的内存块。2MB 使用的页表可管理多 GB 内存，而 1GB 页是 TB 内存的最佳选择。