• memcached原理全面剖析


    memcached会预先分配内存,memcached分配内存方式称之为allocator, 
    首先,这里有3个概念: 1 slab   2 page   3 chunk 
    一般来说一个memcahced进程会预先将自己划分为若干个slab,每个slab下又有若干个page,每个page下又有多个chunk,slab得数量是有限得,几个,十几个,或者几十个,这个跟进程配置得内存有关。而每个slab下得page默认情况是1m,也就是说如果一个slab占用100m得内存得话,那么默认情况下这个slab所拥有得page得个数就是100,而chunk就是我们得数据存放得最终地方。 


    stats slabs 
    ----------------------------- 
    STAT 2:chunk_size 104 
    STAT 2:chunks_per_page 10082 
    STAT 2:total_pages 1 
    STAT 2:total_chunks 10082 
    STAT 2:used_chunks 12 
    STAT 2:free_chunks 74 
    STAT 2:free_chunks_end 9996 
    STAT 2:mem_requested 996 
    STAT 2:get_hits 0 
    STAT 2:cmd_set 31761 
    STAT 2:delete_hits 17 
    STAT 2:incr_hits 991 
    STAT 2:decr_hits 0 
    STAT 2:cas_hits 0 
    STAT 2:cas_badval 0 
    STAT 2:touch_hits 0 
    STAT 5:chunk_size 224 
    STAT 5:chunks_per_page 4681 
    STAT 5:total_pages 1 
    STAT 5:total_chunks 4681 
    STAT 5:used_chunks 29 
    STAT 5:free_chunks 13 
    STAT 5:free_chunks_end 4639 
    STAT 5:mem_requested 6496 
    STAT 5:get_hits 2954 
    STAT 5:cmd_set 297 
    STAT 5:delete_hits 10 
    STAT 5:incr_hits 0 
    STAT 5:decr_hits 0 
    STAT 5:cas_hits 0 
    STAT 5:cas_badval 0 
    STAT 5:touch_hits 0 
    ..... 
    ..... 
    STAT active_slabs 28 
    STAT total_malloced 63283664 
    ----------------------------- 
    chunk_size表示数据存放块得大小, 
    chunks_per_page表示一个内存页page中拥有得chunk得数量, 
    total_pages表示每个slab下page得个数。 
    total_chunks表示这个slab下chunk得总数(=total_pages * chunks_per_page), 
    used_chunks表示该slab下已经使用得chunk得数量, 
    free_chunks表示该slab下还可以使用得chunks数量。 

    从上面得示例slab 1一共有1m得内存空间,而且现在已经被用完了,slab2也有1m得内存空间,也被用完了,slab3得情况依然如此。 而且从这3个slab中chunk得size可以看出来,第一个chunk为104b,第二个是224,基本上后一个是前一个得1.25倍,但是这个增长情况我们是可以控制得,我们可以通过在启动时得进程参数 f来修改这个值,比如说 f 1.1表示这个增长因子为1.1,那么第一个slab中得chunk为80b得话,第二个slab中得chunk应该是80*1.1左右。 

    memcached中新的value过来存放的地址是该value的大小决定的,value总是会被选择存放到chunk与其最接近的一个slab中,比如上面的例子,如果我的value是80b,那么我这所有的value总是会被存放到1号slab中,而1号slab中的free_chunks已经是0了,怎么办呢,如果你在启动memcached的时候没有追加-M(禁止LRU,这种情况下内存不够时会out of memory),那么memcached会把这个slab中最近最少被使用的chunk中的数据清掉,然后放上最新的数据。这就解释了为什么我的内存还有40%的时候LRU就执行了,因为我的其他slab中的chunk_size都远大于我的value,所以我的value根本不会放到那几个slab中,而只会放到和我的value最接近的chunk所在的slab中(而这些slab早就满了,郁闷了)。这就导致了我的数据被不停的覆盖,后者覆盖前者。 

    memcached server不能停啊,不要紧还有另外一个方法,就是memcached-tool,执行move命令,如:move 3 1,代表把3号slab中的一个内存页移动到1号slab中,有人问了,这有什么用呢,比如说我的20号slab的利用率非常低,但是page却又很多,比如200,那么就是200m,而2好slab经常发生LRU,明显page不够,我就可以move 20 2,把20号slab的一个内存页移动到2号slab上,这样就能更加有效的利用内存了 

    +++++++++++++++++++++++++++++++++++++++++++++++++++

    其他参考文档:

    Memcached 工作原理介绍

  • 相关阅读:
    iOS开发>学无止境
    iOS开发>学无止境
    Review1(C#语言基础)
    Lua
    c#笔记(四)——switch
    鼠标拖拽物体
    lua-路径加载lua文件-函数返回值,访问lua文件中的变量
    lua-1-c# 执行lua文件-调用lua文件中的方法
    Unity实现手机录音功能
    lua-table类的继承
  • 原文地址:https://www.cnblogs.com/zsmynl/p/3538561.html
Copyright © 2020-2023  润新知