• Memcached理解


    一、Memcached简介:

    1. Memcached是一个自由开源的,高性能的,分布式内存对象缓存系统。

    2. Memcached是一种基于内存的key-value存储,用来存储小块的任意数据(字符串、对象)。这些数据可以是数据库调用、API调用或者是页面渲染的结果。一般的使用目的是,通过缓存数据库查询结果,减少数据库访问次数,以提高动态Web应用的速度、提高可扩展性。

    3. Memcached简洁而强大。它的简洁设计便于快速开发,减轻开发难度,解决了大数据量缓存的很多问题。其守护进程是用C写的,但是客户端可以用任何语言来编写,并通过memcached协议与守护进程通信。它的API兼容大部分流行的开发语言。

    4. Memcached特点:

    1)基于C/S架构,协议简单;(基于文本行的协议,可使用telnet协议连接);

    2)基于libevent的事件处理;(使用libevent来进行网络并发连接的处理,在很大并发情况下仍能保持快速的响应能力);

    3)内置内存存储方式;

    4memcached不互相通信的分布式。

     

    二、Memcached内存分配:

    1. 名词理解:

    1Page:分配给Slab的内存空间,默认是1MB,分配给Slab之后根据slab的大小切chunkpage一旦被分配,在memcached重启前不会被回收或者重新分配。

    2chunk:用于缓存记录的内存空间。

    3Slab Class:特定大小的chunk的组。每个slab只负责一定大小范围内的数据存储。每个slab中的chunk都是相同大小的。

    2. pageslabchunk三者关系的理解:

    1pagememcached在收到内存不够的请求,并进行内存分配的单位。举例来说,slab2的所有空间都用完了,又有大小适合slab2的数据过来了,那么slab2就会向memcached请求新的内存空间,memcached就会划分一个page大小的内存量到slab2page的默认大小是1M,这个数值可以通过参数-I来修改。

    2slabmemcached用来划定存储空间的大小概念,每当memcached启动的时候,它会按照-n参数配置的值(如果有的话,否则为默认值)来决定第一个slab的大小,然后根据-f参数的值来决定后续slab大小的增长速率,一个一个地决定后续的slab的大小,直到slab的大小达到设定的page大小(一般是1M)。 

    3chunk是实际用来存储数据的内存空间,它的大小和包含它的slab的大小是一致的。page大小的内存分配到slab的时候,slab会根据自身的大小将page大小的内存分割成 page / slabsize chunk

    3. 数据存储方式:Slab Allocation原理

      将分配的内存分割成各种尺寸的块(chunk),并把尺寸相同的块分成组,以完全解决内存碎片问题。Memcached根据收到的数据的大小,选择最适合数据大小的slabMemcached中保存着slab内空闲chunk的列表,根据该列表选择chunk,然后将数据缓存于其中。

    优点:不会存在内存碎片。

    缺点:由于分配的是特定长度的内存,所以无法有效利用分配的内存。

    4. 数据过期方式:Lazy Expiration + LRU(Least Recently Used

    1Lazy ExpirationMemcached内部不会监视记录是否过期,而是在get命令执行时查看记录的时间戳,检查记录是否过期。如果某一个itemmemcached里过期了,这个东西并不会被删除,而是客户端无法再看见该记录,其存储空间即可重复使用。

    注意:

      只有对一个key执行了get命令之后Memcached才会知道这个key对应的值是否已过期,这点可以使用命令来测试。当Memcached中的某些key对应的值过期之后,执行statssizes等统计命令的时候,Memcached还是将它们当做未过期的数据,只有执行了get之后再执行统计命令,Memcached才知道哪些数据已过期。

      (2LRUMemcached会优先使用已超时的记录的空间,当内存空间不足时,就从最近未被使用的记录中搜索,并将其空间分配给新的记录。

     

    三、Memcached一些特性和限制:

    1. memcached缺乏认证以及安全管制,这代表应该将memcached服务器放置在防火墙后。

    2. memcached不提供冗余,当某个服务器S停止运行或崩溃了,所有存放在S上的键/值对都将丢失。

    3. 往memcached存储的所有数据,如果数据的大小分布于各种chunk大小区间,64B1MB都有,可能会造成内存的极大浪费以及memcached的异常

    4. 在Memcached中可以保存的item数据量是没有限制的,只要内存足够。

    5. Memcached单进程最大使用内存为2G,若要使用更多内存,可以多个端口开启多个Memcached进程。

    6. 最大30天的数据过期时间,设置为永久的也会在这个时间过期,由常量REALTIME_MAXDELTA控制。

    7. 最大键长为250字节,大于该长度无法存储,由常量KEY_MAX_LENGTH控制。

    8. 单个item最大数据是1MB,超过1MB不予存储,由常量POWER_BLOCK控制。它是默认slab大小。

    9. 最大同时连接数是200,通过conn_init()中的freetotal进行控制,最大软连接数是1024通过settings.maxconns进行控制。

    10. 参数settings.factorsettings.chunk_size分别控制slab的数据占用和步进方式。

     

  • 相关阅读:
    设计模式之原型模式
    Mac OSx下的APK反编译
    Android中ListView封装收缩与展开
    带密码登录的密码保险箱应用源码
    HTML 5缓存机制:Cache Manifest配置实例
    PHP开发大型项目的一点经验
    Windows Phone 编程: 摇一摇 效果
    swift皮筋弹动发射飞机
    Win8.1应用开发之适配器模式(C#实现)
    java实现身份证校验
  • 原文地址:https://www.cnblogs.com/wujuntian/p/4791208.html
Copyright © 2020-2023  润新知