1、内核分配策略:参数overcommit_memory
echo "1" > /proc/sys/vm/overcommit_memory
vm.overcommit_memory
|
含义
|
---|---|
0 | 表示内核将检查是否有足够的可用内存。如果有足够的可用内存,内存申请通过,否则内存申请失败,并把错误返回给应用进程 |
1 | 表示内核允许超量使用内存直到用完为止 |
2 | 表示内核决不过量的(“never overcommit”)使用内存,即系统整个内存地址空间不能超过swap+50%的RAM值,50%是overcommit_ratio默认值,此参数同样支持修改 |
2、swap分配策略swappiness,强制关闭系统swap
swapniess
|
策略
|
---|---|
0 | Linux3.5以及以上:宁愿OOM killer也不用swap Linux3.4以及更早:宁愿swap也不要OOM killer |
1 | Linux3.5以及以上:宁愿swap也不要OOM killer |
60 | 默认值 |
100 | 操作系统会主动地使用swap |
3、Transparent Huge Pages
echo never > /sys/kernel/mm/transparent_hugepage/enabled
Redis建议修改Transparent Huge Pages (THP)的相关配置,Linux kernel在2.6.38内核增加了Transparent Huge Pages (THP)特性 ,支持大内存页(2MB)分配,默认开启。当开启时可以降低fork子进程的速度,
但fork之后,每个内存页从原来4KB变为2MB,会大幅增加重写期间父进程内存消耗。同时每次写命令引起的复制内存页单位放大了512倍,会拖慢写操作的执行时间,导致大量写操作慢查询。例如简单的
incr命令也会出现在慢查询中。因此Redis日志中建议将此特性进行禁用,禁用方法如下:
Elasticsearch:
1、swap分配策略swappiness,强制关闭系统swap
swapniess
|
策略
|
---|---|
0 | Linux3.5以及以上:宁愿OOM killer也不用swap Linux3.4以及更早:宁愿swap也不要OOM killer |
1 | Linux3.5以及以上:宁愿swap也不要OOM killer |
60 | 默认值 |
100 | 操作系统会主动地使用swap |
2、定义了每个端口最大的监听队列的长度 vm.max_map_count = 65535
3、限制一个进程可以拥有的VMA(虚拟内存区域)的数量 vm.max_map_count=262144
4、设置 Linux 内核分配的文件句柄的最大数量 fs.file-max=518144
5、设置具体用户可用的文件描述符数量
6、设置锁定内存,拒绝swapping
vim /etc/sysctl.conf
vim /etc/security/limits.conf
7、VM锁住内存,不让JVM写入swapping,避免降低ES的性能 bootstrap.mlockall: true
8、设置各部分所占用的缓存比例,默认是没有限制的,很可能会撑爆 JVM 堆空间(设置 fielddata 会影响搜索性
indices.fielddata.cache.size: 40%
indices.cache.filter.size: 30%
indices.cache.filter.terms.size: 1024mb
9、线程池的设置, size 默认是 处理器核数的 5 倍
threadpool.search.type: cached
threadpool.search.size: 100
threadpool.search.queue_size: 2000
RocketMQ:
1、swap分配策略swappiness,强制关闭系统swap
swapniess
|
策略
|
---|---|
swapniess
|
策略
|
0 | Linux3.5以及以上:宁愿OOM killer也不用swap Linux3.4以及更早:宁愿swap也不要OOM killer |
1 | Linux3.5以及以上:宁愿swap也不要OOM killer |
60 | 默认值 |
100 | 操作系统会主动地使用swap |
2、设置系统预留最小内存
sudo sysctl -w vm.min_free_kbytes=1000000
设置系统需要保留的最小内存大小。当系统内存小于该数值时,则不再进行内存分配。这个命令默认被注释掉,根据文档看,如果设置了不恰当的值,比如比实际内存大,则系统可能直接就会崩溃掉。实际数值应该根据RocketMQ部署机器的内存进行计算,经验数值大概是机器内存的5% - 10%。
这个数值设置的过高,则内存浪费。若设置的过低,那么在内存消耗将近时,RocketMQ的Page Cache写入操作可能会很慢,导致服务不可用。
3、设置 Linux 内核分配的文件句柄的最大数量 fs.file-max=518144
4、设置具体用户可用的文件描述符数量