Redis内存碎片

目录

• 一、什么是内存碎片
• 二、如何判断有内存碎片
• 三、内存碎片是怎么形成的
  • 3.1 jemalloc分配机制导致
  • 3.2 数据的修改删除操作导致
• 四、如何清理内存碎片
  • 4.1 重启
  • 4.2 redis内存碎片自动清理机制
• 五、和现实的类比

一、什么是内存碎片

redis数据删除后，所占用内存不会马上还给操作系统，而是交给内存分配管理器，所以对操作系统来说redis仍然占用着这些内存。

这里有个风险点是：redis释放的内存有可能是不连续的，这种不连续的内存很可能无法再次使用，最终造成了内存的浪费，这种空闲但是无法使用的内存便是内存碎片。

接下来主要介绍redis的内存碎片情况，产生原因以及最终的应对方案。

二、如何判断有内存碎片

可以通过redis提供的命令来查看redis的内存使用情况：

 ./redis-cli info memory

执行结果

# Memory
used_memory:5930032
used_memory_human:5.66M
used_memory_rss:8359936
used_memory_rss_human:7.97M
...
mem_fragmentation_ratio:1.32

used_memory是redis数据所占的内存大小。used_memory_rss是操作系统分配给redis的所有内存（包含没有使用的碎片）。

mem_fragmentation_ratio= used_memory_rss / used_memory

mem_fragmentation_ratio：

1. 大于1但是小于1.5：是相对合理的，碎片化可以接受，可以不进行碎片整理。下一节的碎片形成的原因可以看出，碎片本身是无法彻底避免的。
2. 大于1.5：碎片化严重，超过了50%。这种情况下需要想办法对碎片进行整理，降低碎片化绿
3. 小于1.0：redis数据所占内存小于操作系统所分配的内存，这不能说没有碎片，这个时候说明redis的内存发送了swap，有一部分数据被交换到了硬盘，会严重影响redis的性能，需要马上解决的，具体见操作系统swap对redis的影响。

三、内存碎片是怎么形成的

3.1 jemalloc分配机制导致

jemallco是redis的默认内存分配器，其分配策略不是完全按照操作系统的按需分配来进行的，而是按照2^n次方的方式来分配，比如8字节，16字节，32字节、2KB，4KB，8KB等，固定大小。

当redis申请内存时候，jemalloc会分配一个大于所需内存但是最接近2^n的大小，比如需要20字节，jemallo会分配32字节。这样天然就有12个字节的碎片存在，且无法避免。

jemalloc这种分配方式的好处是减少内存分配的次数，上面的例子中需要20字节，但是分配了32，如果后期再需要10字节，则不再需要二次分配内存。

3.2 数据的修改删除操作导致

redis每个键值的大小都不一致，当有内存释放后有可能太小最终无法被马上使用。

上图中假定A、B、C三块内存都为4KB，A被释放后会有总共有3*4=12KB的内存可用。但是由于A、B、C不连续，如果这个时候有一个10KB的数据需要分配内存，以上内存是无法使用的，这就是内存的浪费。

大量的内存碎片会导致内存被浪费，这就需要对内存的碎片进行清理。

四、如何清理内存碎片

4.1 重启

重启是最简单的办法，但是重启后如果没有开启rdb或者aof，数据会彻底丢失。

如果开启了持久化机制，恢复需要一定的时间，恢复期间redis本身又不可用。

所以重启不是第一选择，比较优雅的办法是采用redis自身的碎片清理机制。

4.2 redis内存碎片自动清理机制

4.0版本后redis提供了自动内存碎片清理机制。核心思想就是对内存进行搬家合并，让空闲的内存合并到一起，形成大块可以使用的连续空间。继续上面的例子。

可以看到通过碎片整理的内存能够存储10KB的数据。

开启碎片自动清理

默认是关闭的。

CONFIG SET activedefrag yes

redis自己的配置说明

特别需要注意的是redis的自动内存碎片清理是由主线程执行的，执行期间无法处理客户端请求，这会阻塞redis，影响redis的性能，所以不能频繁的执行碎片清理。

redis也提供了一些参数用于控制碎片执行的时机和条件。

# The configuration parameters are able to fine tune the behavior of the
# defragmentation process. If you are not sure about what they mean it is
# a good idea to leave the defaults untouched.

# Enabled active defragmentation
# activedefrag no

# Minimum amount of fragmentation waste to start active defrag
# active-defrag-ignore-bytes 100mb

# Minimum percentage of fragmentation to start active defrag
# active-defrag-threshold-lower 10

# Maximum percentage of fragmentation at which we use maximum effort
# active-defrag-threshold-upper 100

# Minimal effort for defrag in CPU percentage, to be used when the lower
# threshold is reached
# active-defrag-cycle-min 1

# Maximal effort for defrag in CPU percentage, to be used when the upper
# threshold is reached
# active-defrag-cycle-max 25

# Maximum number of set/hash/zset/list fields that will be processed from
# the main dictionary scan
# active-defrag-max-scan-fields 1000

redis的上述配置文件也说明了，如非真的有必要，不要开启碎片清理。

五、和现实的类比

买火车票，比如一班火车只有四个座位，分别在两排。每一排都连着。

这个时候卖出两张票，被两个人买了，分别是第一排的一个座位和第二排的一个座位，剩余两个座位。

这时候有人想买两张连在一排的座位，就买不到了，虽然还有两个座位，这就是碎片，是浪费。

平时坐火车我们有时候为了坐一起，会找协调其他旅客换座位，这就类似于碎片整理。