• 项目课---企业级Memcached服务应用实践(八)


    一, Memcached介绍

     

    1.1 Memcached与常见同类软件对比

    (1)Memcached是什么?

    • Memcached是一个开源的,支持高性能,高并发的分布式内存缓存系统,由C语言编写,总共2000多行代码。从软件名称上看,前3个字符“Mem”就是内存的意思,而接下来的后面5个字符“cache”就是缓存的意思,最后一个字符d,是daemon的意思,代表是服务器端守护进程模式服务。
    • Memcached服务分为服务器端和客户端两部分,其中,服务器端软件的名字形如Memcached-1.4.24.tar.gz,客户端软件的名字形如Memcache-2.25.tar.gz
    • Memcached软件诞生于2003年,最初由LiveJournal的Brad Fitzpatrick开发完成。Memcache是整个项目的名称,而Memcached是服务器端的主程序名,因其协议简单,应用部署方便,且支持高并发,因此被互联网企业广泛使用,直到现在仍然如此。其官方网站地址:http://memcached.org/.

    (2)Memcached的作用

    • 传统场景中,多数Web应用都将数据保存到关系型数据库中(例如:MySQL),Web服务器从中读取数据并在浏览器中显示。但随着数据量的增大,访问的集中,关系型数据库的负担就会出现加重,响应缓慢,导致网站打开延迟等问题,影响用户体验。
    • 这时就需要Memcached软件出马了。使用Memcached的主要目的是,通过在自身内存中缓存关系型数据库的查询结果,减少数据库被访问的次数,以提高动态Web应用的速度,提高网站架构的并发能力和可扩展性。
    • Memcached服务的运行原理是通过在事先规划好的系统内存空间中临时缓存数据库中的各类数据,以达到减少前端业务服务对数据库的直接高并发访问,从而提升大规模网站集群中动态服务的并发访问能力。 
      -生产场景的Memcached服务一般被用来保存网站中经常被读取的对象或数据,就像我们的客户端浏览器也会把经常访问的网页缓存起来一样,通过内存缓存来存取对象或数据要比磁盘存取快很多,因为磁盘是机械的,因此,在当今的IT企业中,Memcached的应用范围很广泛。
     

    1.2 互联网常见内存缓存服务软件

    image_1crmbc3uu1bi51nlapo1ovqnaf9.png-182.2kB

     

    二,Memcached的用途与应用场景

     

    2.1 Memcached常见用途工作流程

    Memcached是一种内存缓存软件,在工作中经常用来缓存数据库的查询数据,数据被缓存在事先与分配的Memcached管理的内存中,可以通过API或命令的方式存取内存中缓存的这些数据,Memcached服务内存中缓存的数据就像一张巨大的hash表,每条数据都是以key-value对的形式存在。

     

    2.1.1网站读取Memcached数据时工作流程

    从逻辑上来说,当程序访问后端数据库获取数据时会优先访问Memcached缓存,如果缓存中有数据就直接返回给客户端用户,如果没有合适的数据(没有命中),再去后端的数据库读取数据,读取到需要的数据后,就会把数据返回给客户端,同时还会把读取到的数据缓存到Memcached内存中,这样客户端用户再次请求相同的数据时就会直接读取Memcached缓存的数据了,这就大大地减轻了后端数据库的压力,并提高了整个网站的响应速度,提升了用户体验。

    展示了Memcached缓存系统和后端数据库系统的协作流程

    image_1crmbd9os8ejin6okg1jjrtfnm.png-92.9kB

    应用服务器相当于RealServer

    RDBMS相当于MySQL

    如上图所示:使用Memcached缓存查询的数据来减少数据库压力的具体工作流程如下:

    (1)Web程序首先检查客户端请求的数据是否在Memcached缓存中存在,如果存在,直接把请求的数据返回给客户端,此时不再请求后端数据库。

    (2)如果请求的数据在Memcached缓存中不存在,则程序会去请求数据库服务,把从数据库中取到的数据返回给客户端,同时把新取到的数据缓存一份到Memcached缓存中。

     

    2.1.2 网站更新Memcached数据时的工作流程

    (1)当程序更新或删除数据时,会首先处理后端数据库中的数据。

    (2)在处理后端数据库中数据的同时,也会通知Memcached,告诉它对应的旧数据失效,从而保证Memcached中缓存的数据始终和数据库中一致,这个数据一致性非常重要,也是大型网站分布式缓存集群最头疼的问题所在。

    (3)如果是在高并发读写场合,除了要程序通知Memcached过期的缓存失效外,还可能要通过相关机制,例如在数据库上部署相关程序(如在数据库中设置触发器使用UDFs),实现当数据库有更新时就把数据更新到Memcached服务中,这样一来,客户端在访问新数据时,因预先把更新过的数据库数据复制到Memcached中缓存起来了,所以可以减少第一次查询数据库带来的访问压力,提升Memcached中缓存的命中率,甚至新浪门户还会把持久化存储Redis做成MySQL数据库的从库,实现真正的主从复制。

    下图为Memcached网站作为缓存应用更新数据的流程

    image_1crmbegc71on71smebaut9g1jc913.png-78.4kB

    下图为Memcached服务作为缓存应用通过相关软件更新数据的流程

    image_1crmbeur71437mpu15mb1b61s6n1g.png-74.1kB

    在生产工作中,网站Web服务器作为缓存应用更新数据的方案更为常用,即由网站程序负责更新Memcached缓存。

     

    2.2 Memcached在企业中的应用场景

     

    2.2.1 作为数据库的查询数据缓存

    (1)完整数据缓存

    例如:电商的商品分类功能不是经常变动的,因此可以事先放到Memcached里,然后再对外提供数据访问。这个过程被称之为“数据预热”。 
    此时只需读取缓存,无需读取数据库就能得到Memcached缓存里的所有商品分类数据了,所以数据库的访问压力就会大大降低。 
    为什么商品分类数据可以事先放在缓存里呢? 
    因为,商品分类几乎都是由内部人员管理的,如果需要更新数据,更新数据库后,就可以把数据同时更新到Memcached里。 
    如果把商品分类数据做成静态化文件,然后,通过在前端Web缓存或者使用CDN加速效果更好。

    (2)热点数据缓存

    热点数据缓存一般是用于由用户更新的商品,例如淘宝的卖家,在卖家新增商品后,网站程序就会把商品写入后端数据库,同时把这部分数据,放入Memcached内存中,下一次访问这个商品的请求就直接从Memcached内存中取走了。这种方法用来缓存网站热点的数据,即利用Memcached缓存经常被访问的数据。

    提示: 
    这个过程可以通过程序实现,也可以在数据库上安装相关软件进行设置,直接由数据库把内容更新到Memcached中,就相当于Memcached是MySQL的从库一样。

    • 如果碰到电商双11,秒杀高并发的业务场景,必须要事先预热各种缓存,包括前端的Web缓存和后端的数据库缓存。

    • 也就是先把数据放入内存预热,然后逐步动态更新。此时,会先读取缓存,如果缓存里没有对应的数据,再去读取数据库,然后把读到的数据放入缓存。如果数据库里的数据更新,需要同时触发缓存更新,防止给用户过期的数据,当然对于百万级别并发还有很多其他的工作要做。

    • 绝大多数的网站动态数据都是保存在数据库当中的,每次频繁地存取数据库,会导致数据库性能急剧下降,无法同时服务更多的用过户(比如MySQL特别频繁的锁表就存在此问题),那么,就可以让Memcached来分担数据库的压力。增加Memcached服务的好处除了可以分担数据库的压力以外,还包括无须改动整个网站架构,只须简单地修改下程序逻辑,让程序先读取Memcached缓存查询数据即可,当然别忘了,更新数据时也要更新Memcached缓存。

     

    2.2.2 作为集群节点的session会话共享存储

    即把客户端用户请求多个前端应用服务集群产生的session会话信息,统一存储到一个Memcached缓存中。由于session会话数据是存储在内存中的,所以速度很快。

    下图为Memcached服务在企业集群架构中的常见工作位置:

    image_1crmbhrb59vdgea12u81kg81n2h1t.png-269.7kB

     

    三,Memcached的特点与工作机制

     

    3.1 Memcached的特点

    Memcached作为高并发,高性能的缓存服务,具有如下特点:

    • 协议简单。Memcached的协议实现很简单,采用的是基于文本行的协议,能通过telnet/nc等命令直接操作memcached服务存储数据。

    • 支持epoll/kqueue异步I/O模型,使用libevent作为事件处理通知机制。

    • 简单的说,libevent是一套利用c开发的程序库,它将BSD系统的kqueue,Linux系统的epoll等事件处理功能封装成一个接口,确保即使服务器端的连接数增加也能发挥很好的性能。Memcached就是利用这个libevent库进行异步事件处理的。

    • 采用key/value键值数据类型。被缓存的数据以key/value键值形式存在,例如

     
    1. benet-->36,key=benet,value=36
    2. yunjisuan-->28,key=yunjisuan,value=28
    3. #通过benet key可以获取到36值,同理通过yunjisuan key可以获取28值
    • 全内存缓存,效率高。Memcached管理内存的方式非常高效,即全部的数据都存放于Memcached服务事先分配好的内存中,无持久化存储的设计,和系统的物理内存一样,当重启系统或Memcached服务时,Memcached内存中的数据就会丢失。

    • 如果希望重启后,数据依然能保留,那么就可以采用redis这样的持久性内存缓存系统。

    • 当内存中缓存的数据容量达到服务启动时设定的内存值时,就会自动使用LRU算法(最近最少被使用的)删除过期的缓存数据。也可以在存放数据时对存储的数据设置过期时间,这样过期后数据就自动被清除,Memcached服务本身不会监控数据过期,而是在访问的时候查看key的时间戳判断是否过期。

    • 可支持分布式集群 
      Memcached没有像MySQL那样的主从复制方式,分布式Memcached集群的不同服务器之间是互不通信的,每一个节点都独立存取数据,并且数据内容也不一样。通过对Web应用端的程序设计或者通过支持hash算法的负载均衡软件,可以让Memcached支持大规模海量分布式缓存集群应用。

    下面是利用Web端程序实现Memcached分布式的简单代码:

     
    1. "memcached_servers" ==>array(
    2. '10.4.4.4:11211',
    3. '10.4.4.5:11211',
    4. '10.4.4.6:11211',

    下面使用Tengine反向代理负载均衡的一致性哈希算法实现分布式Memcached的配置。

     
    1. http {
    2. upstream test {
    3. consistent_hash $request_uri;
    4. server 127.0.0.1:11211 id=1001 weight=3;
    5. server 127.0.0.1:11212 id=1002 weight=10;
    6. server 127.0.0.1:11213 id=1003 weight=20;
    7. }
    8. }

    下面使用Tengine反向代理负载均衡的一致性哈希算法实现分布式Memcached的配置。

     
    1. http {
    2. upstream test {
    3. consistent_hash $request_uri;
    4. server 127.0.0.1:11211 id=1001 weight=3;
    5. server 127.0.0.1:11212 id=1002 weight=10;
    6. server 127.0.0.1:11213 id=1003 weight=20;
    7. }
    8. }

    提示: 
    Tengine是淘宝网开源的Nginx的分支,上述代码来自: 
    http://tengine.taobao.org/document_cn/http_upstream_consistent_hash_cn.html

     

    3.2 Memcached工作原理与机制

     

    3.2.1 Memcached工作原理

    Memcached是一套类似C/S模式架构的软件,在服务器端启动Memcached服务守护进程,可以指定监听本地的IP地址,端口号,并发访问连接数,以及分配了多少内存来处理客户端请求。

     

    3.2.2 Socket事件处理机制

    Memcached软件是由C语言来实现的,全部代码仅有2000多行,采用的是异步epoll/kqueue非阻塞I/O网络模型,其实现方式是基于异步的libevent事件单进程,单线程模式。使用libevent作为事件通知机制,应用程序端通过指定服务器的IP地址及端口,就可以连接Memcached服务进行通信。

     

    3.2.3 数据存储机制

    • 需要被缓存的数据以key/value键值对的形式保存在服务器端预分配的内存区中,每个被缓存的数据都有唯一的标识key,操作Memcached中的数据就是通过这个唯一标识的key进行的。缓存到Memcached中的数据仅放置在Memcached服务预分配的内存中,而非存储在Memcached服务器所在的磁盘上,因此存取速度非常快。

    • 由于Memcached服务自身没有对缓存的数据进行持久化存储的涉及,因此,在服务器端的Memcached服务进程重启之后,存储在内存中的这些数据就会丢失。且当内存中缓存的数据容量达到启动时设定的内存值时,也会自动使用LRU算法删除过期的数据。

    • 开发Memcached的初衷仅是通过内存缓存提升访问效率,并没有过多考虑数据的永久存储问题。因此,如果使用Memcached作为缓存数据服务,要考虑数据丢失后带来的问题,例如:是否可以重新生成数据,还有,在高并发场合下缓存宕机或重启会不会导致大量请求直接到数据库,导致数据库无法承受,最终导致网站架构雪崩等。

     

    3.2.4 内存管理机制

    Memcached采用了如下机制:

    • 采用slab(动态)内存分配机制

    • 采用LRU(算法)对象清除机制

    • 采用hash机制快速检索item(通过MySQL索引查找数据)

     

    3.2.5 多线程处理机制

    • 多线程处理时采用的是pthread(POSIX)线程模式。

    • 若要激活多线程,可在编译时指定:./configure --enable-threads

    • 锁机制不够完善

    • 负载过重时,可以开启多线程(-t 线程数为CPU核数)

     

    3.3 Memcached预热理念及集群节点的正确重启方法

     

    3.3.1 Memcached预热理念

    • 当需要大面积重启Memcached时,首先要在前端控制网站入口的访问流量,然后,重启Memcached集群并进行数据预热,所有数据都预热完毕之后,再逐步放开前端网站入口的流量。
    • 为了满足Memcached服务数据可以持久化存储的需求,在较早时期,新浪网基于Memcached服务开发了一款NoSQL软件,名字为MemcacheDB,实现了在缓存的基础上增加了持久存储的特性,不过目前逐步被更优秀的Redis软件取代了。
     

    3.3.2 如何正确开启网站集群服务器

    如果由于机房断电或者搬迁服务器集群到新机房,那么启动集群服务器时,一定要从网站集群的后端依次往前端开启,特别是开启Memcached缓存服务器时要提前预热。

     

    四,Memcached内存管理

     

    4.1 Memcached内存管理机制深入剖析

    (1)Malloc内存管理机制

    在讲解Memcached内存管理机制前,先来了解malloc

    • malloc的全称是memory allocation,中文名称动态内存分配,当无法知道内存具体位置的时候,想要绑定真正的内存空间,就需要用到动态分配内存。

    • 早期的Memcached内存管理是通过malloc分配的内存实现的1,使用完后通过free来回收内存。这种方式容易产生内存碎片并降低操作系统对内存的管理效率。因此,也会加重操作系统内存管理器的负担,最坏的情况下,会导致操作系统比Memcached进程本身还慢,为了解决上述问题,Slab Allocator内存分配机制就诞生了。

    (2)Slab内存管理机制

    现在的Memcached是利用Slab Allocation机制来分配和管理内存的,过程如下:

    1)提前将大内存分配大小为1MB的若干个slab,然后针对每个slab再进行小对象填充,这个小对象称为chunk,避免大量重复的初始化和清理,减轻了内存管理器的负担。 
    Slab Allocation内存分配的原理是按照预先规定的大小,将分配给Memcached服务的内存预先分割成特定长度的内存块(chunk),再把尺寸相同的内存块(chunk)分成组(chunks slab class),这些内存块不会释放,可以重复利用,如下图所示。

    image_1crmbrmi211328uv121t1241man2a.png-88.5kB


    2)新增数据对象存储时。因Memcached服务器中保存着slab内空闲chunk的列表,他会根据该列表选择chunk,然后将数据缓存于其中。当有数据存入时,Memcached根据接收到的数据大小,选择最适合数据大小的slab分配一个能存下这个数据的最小内存块(chunk)。例如:有100字节的一个数据,就会被分配存入下面112字节的一个内存块中,这样会有12字节被浪费,这部分空间就不能被使用了,这也是Slab Allocator机制的一个缺点。

    image_1crmbs5o3lkr170v19p46mo39q2n.png-40.5kB

    Slab Allocator还可重复使用已分配的内存,即分配到的内存不释放,而是重复利用。


    (3)Slab Allocation的主要术语

    image_1crmbsm1d1cbrcnqt1v10c5qsf34.png-81.5kB


    (4)Slab 内存管理机制特点

    • 提前分配大内存Slab 1MB,再进行小对象填充chunk。

    • 避免大量重复的初始化和清理,减轻内存管理器负担。

    • 避免频繁malloc/free内存分配导致的碎片

    下面对Mc的内存管理机制进行一个小结

    • Mc的早期内存管理机制为malloc(动态内存分配)

    • malloc(动态内存分配)产生内存碎片,导致操作系统性能急剧下降。

    • Slab内存分配机制可以解决内存碎片的问题

    • Memcached服务的内存预先分割成特定长度的内存块,称为chunk,用于缓存数据的内存空间或内存块,相当于磁盘的block,只不过磁盘的每一个block都是相等的,而chunk只有在同一个Slab Class内才是相等的。

    • Slab Class指特定大小(1MB)的包含多个chunk的集合或组,一个Memcached包含多个Slab Class,每个Slab Class包含多个相同大小的chunk。

    • Slab机制也有缺点,例如,Chunk的空间会有浪费等。

     

    4.2 Memcached Slab Allocator内存管理机制的缺点

    (1)chunk存储item浪费空间

    Slab Allocator解决了当初的内存碎片问题,但新的机制也给Memcached带来了新的问题。这个问题就是,由于分配的是特定长度的内存,因此无法有效利用分配的内存。例如,将100字节的数据缓存到128字节的chunk中,剩余的28字节就浪费了,如下图所示: 
    image_1crmburl31t3n1t2o15rv5eb27841.png-25.9kB

    避免浪费内存的办法是,预先计算出应用存入的数据大小,或把同一业务类型的数据存入一个Memcached服务器中,确保存入的数据大小相对均匀,这样就可以减少内存的浪费。 
    还有一种办法是,在启动时指定“-f”参数,能在某种程度上控制内存组之间的大小差异。在应用中使用Memcached时,通常可以不重新设置这个参数,即使用默认值1.25进行部署即可。如果想优化Memcached对内存的使用,可以考虑重新计算数据的预期平均长度,调整这个参数来获得合适的设置值,命令如下:

     
    1. -<factor>chunk size growth factor (default:1.25)!

    (2)Slab尾部剩余空间

    • 假设在classid=40中,两个chunk占用了1009384byte,那么就有1048576-1009384=39192byte会被浪费掉。解决办法:规划slab大小=chunk大小*n整数倍。
     

    4.3 使用Growth Factor对Slab Allocator内存管理机制调优

    在启动Memcached时指定Growth Factor因子(通过 -f 选项),就可以在某种程度上控制每组Slab之间的差异。默认值1.25。但是,在该选项出现之前,这个因子曾经被固定为2,称为2“powers of 2”策略。让我们用以前的设置,以verbose模式启动Memcached试试看:

     
    1. #memcached -f 2 w

    下面是启动后的verbose输出:

     
    1. slab class 1:chunk size 128 perslab 8192
    2. slab class 2:chunk size 256 perslab 4096
    3. slab class 3:chunk size 512 perslab 2048
    4. slab class 4:chunk size 1024 perslab 1024
    5. slab class 5:chunk size 2048 perslab 512
    6. slab class 6:chunk size 4096 perslab 256
    7. slab class 7:chunk size 8192 perslab 128
    8. slab class 8:chunk size 16384 perslab 64
    9. slab class 9:chunk size 32768 perslab 32
    10. slab class 10:chunk size 65536 perslab 16
    11. slab class 11:chunk size 131072 perslab 8
    12. slab class 12:chunk size 262144 perslab 4
    13. slab class 13:chunk size 524288 perslab 2

    可见,从128字节的组开始,组的大小依次增大为原来的2倍。这样设置的问题是,Slab之间的差别比较大,有些情况下就相当浪费内存。因此,为尽量减少内存浪费,两年前追加了growth factor这个选项。

    来看看现在的默认设置(f=1.25)时的输出:

     
    1. slab class 1:chunk size 88 perslab 11915 <---88*11915=1048520
    2. slab class 2:chunk size 112 perslab 9362
    3. slab class 3:chunk size 144 perslab 7281
    4. slab class 4:chunk size 184 perslab 5698
    5. slab class 5:chunk size 232 perslab 4519
    6. slab class 6:chunk size 296 perslab 3542
    7. slab class 7:chunk size 376 perslab 2788
    8. slab class 8:chunk size 472 perslab 2221
    9. slab class 9:chunk size 592 perslab 1771
    10. slab class 10:chunk size 744 perslab 1409 <---744*1409=1048520
    • 此时每个Slab的大小是一样的,即1048520,1MB。组间的差距比因子为2时小得多,可见,这个值越小,Slab中chunk size的差距就越小,内存浪费也就越小。可见,默认值1.25更适合缓存几百字节的对象。从上面的输出结果来看,可能会觉得有些计算误差,这些误差是为了保持字节数的对齐而故意设置的。

    • 当使用Memcached或是直接使用默认值进行部署时,最好是重新计算一下数据的预期平均长度,调整growth factor,以获得最恰当的设置。内存是珍贵的资源,浪费就太可惜了。

     

    4.4 Memcached的检测过期与删除机制

    (1)Memcached懒惰检测对象过期机制

    • 首先要知道,Memcached不会主动检测item对象是否过期,而是在进行get操作时检查item对象是否过期以及是否应该删除!

    • 因为不会主动检测item对象是否过期,自然也就不会释放已分配给对象的内存空间了,除非为添加的数据设定过期时间或内存缓存满了,在数据过期后,客户端不能通过key取出它的值,其存储空间将被重新利用。

    • Memcached使用的这种策略为懒惰检测对象过期策略,即自己不监控存入的key/value对是否过期,而是在获取key值时查看记录的时间戳(sed key flag exptime bytes),从而检查key/value对空间是否过期。这种策略不会在过期检测上浪费CPU资源。

    (2)Memcached懒惰删除对象机制

    • 当删除item对象时,一般不会释放内存空间,而是做删除标记,将指针放入slot回收插槽,下次分配的时候直接使用。

    • Memcached在分配空间时,会优先使用已经过期的key/value对空间;若分配的内存空间占满,Memcached就会使用LRU算法来分配空间,删除最近最少使用的key/value对,从而将其空间分配给新的key/value对。在某些情况下(完整缓存),如果不想使用LRU算法,那么可以通过“-M”参数来启动Memcached,这样,Memcached在内存耗尽时,会返回一个报错信息,如下

     
    1. -M rerurn error on memory exhausted(rather than removing items)

    下面针对Memcached删除机制进行一个小结

    • 不主动检测item对象是否过期,而是在get时才会检查item对象是否过期以及是否应该删除。

    • 当删除item对象时,一般不释放内存空间,而是做删除标记,将指针放入slot回收插槽,下次分配的时候直接使用。

    • 当内存空间满的时候,将会根据LRU(最近最少使用)算法把最近最少使用的item对象删除。

    • 数据存入可以设定过期时间,但是数据过期后不会被立即删除,而是在get时检查item对象是否过期以及是否应该删除。

    • 如果不希望系统使用LRU算法清除数据,可以用使用-M参数。

     

    五,Memcached服务安装

    Memcached的安装比较简单,支持Memcached的平台常见的有Linux,FreeBSD,Solaris,Windows。这里以Centos6.5为例进行讲解。

     

    Memcached所有包下载地址

    链接:https://pan.baidu.com/s/16uvApZWz_E8_0mbiB5bZog 
    提取码:lgxd

     

    5.1 安装libevent及连接Memcached工具nc

     

    系统安装环境

    cat /etc/redhat-release

    uname -r

    hostname -I

    image_1ct2kssri1qe11d7f17rf3bp2ur9.png-18.5kB

     

    安装Memcached相关软件包

    安装Memcached前需要先安装libevent,有关libevent的内容在前文已经介绍,此处用yum命令安装libevent。操作命令如下:

    yum -y install libevent libevent-devel nc --->自带光盘里没有,需要公网yum源

    rpm -qa libevent libevent-devel nc

    image_1ct2kudcm1ughph5138vvup1cjum.png-30.3kB

     

    5.2 安装Memcached

    yum -y install memcached --->可通过光盘安装

    提示: 
    形如“memcache-2.2.7.tgz”文件名的软件为客户端源代码软件,而形如“memcached-1.4.24.tar.gz”的文件为服务器端的源代码软件。

    image_1ct2l0pjj1jjv1ro8p5c1kgoe3g13.png-12.1kB

     

    六,Memcached服务的基本管理

     

    6.1 启动Memcached

    which memcached --->查看Memcached命令路径

    memcached -m 16m -p 11211 -d -u root -c 8192

    -m 启动16兆内存 -p 默认端口11211 -d 启动守护进程 -u 指定用户 -c 指定连接数

    image_1ct2lo2oi18ou1fgl1nij1d321kdj3v.png-13.5kB

     

    启动第一个Memcached实例

    netstat -antup | grep 11211 --->查看启动情况

    ps -ef | grep memcached | grep -v grep

    image_1ct2losg9jt8onj32knqh7hi4c.png-28.8kB

     

    启动第二个Memcached实例

    memcached -m 16m -p 11212 -d -u root -c 8192

    ps -ef | grep memcached | grep -v grep

    image_1ct2lqffjhs2t77u7eajdagq4p.png-21kB

     

    可把上述两个实例的启动命令放入/etc/rc.local,以便下次开机可以自启动

    tail -2 /etc/rc.local 
    memcached -m 16m -p 11211 -d -u root -c 8192 
    memcached -m 16m -p 11212 -d -u root -c 8192

     

    6.2 Memcached启动命令相关参数说明

    进程与连接设置:

    image_1crmc95l9g6p18olaabr8outb4e.png-29.7kB

    内存相关设置:

    image_1crmc9jbu1j5321r1ot7vg41gm64r.png-28.1kB

    并发连接设置:

    image_1crmca5211e7j42oi5i1r7q12ep58.png-22.5kB

    测试参数:

    image_1crmcajijl7l16vpu6a1512mi55l.png-14.5kB

    其他选项可通过“memcached -h”命令来显示。

     

    6.3 向Memcached中写入数据并检查

     

    6.3.1 Memcached中的数据形式及与MySQL相关语句对比

    向Memcached中添加数据时,注意添加的数据一般为键值对的形式,例如:key1-->values1,key2-->values2

    这里把Memcached添加,查询,删除等的命令和MySQL数据库做一个基本类比,见下表:

    image_1crmcfbegib5o7cgco838rls1c.png-15.9kB

     

    6.3.2 向Memcached中写入数据实践

     

    (1)通过printf配合nc向Memcached中写入数据,命令如下:**

    printf "set key1 0 0 5 benet " | nc 127.0.0.1 11211

    STORED --->出现STORED表示成功添加key1及对应的数据

    printf和echo的区别是printf不会输出换行符 nc是连接memcached的

    image_1ct2m9j1eumhlbjipk17uqo2r56.png-11.3kB


     

    如果set命令的字节是5,那么后面就要5个字符(字节)。否则插入数据就会不成功

    printf "set key1 0 0 4 benet " | nc 127.0.0.1 11211

    image_1ct2mafgp1n9k17nk12101bv9sch5j.png-13.4kB


     

    通过printf配置nc从Memcached中读取数据

    printf "get key1 " | nc 127.0.0.1 11211 
    VALUE key1 0 5 
    benet #这就是读取到的key1对应额值

    image_1ct2me4t31nh2i3b1os4d8i1u2j60.png-12.6kB


     

    通过printf配合nc从Memcached中删除数据

    printf "delete key1 " | nc 127.0.0.1 11211

    printf "get key1 " | nc 127.0.0.1 11211

    image_1ct2mghtm1d4p1slpmcr9b11bik6d.png-15.5kB

    提示: 
    推荐使用上述方法测试操作Memcached,只支持键值的读取方式别的不支持

     

    (2)通过telnet命令写入数据时,具体步骤如下

     

    1)安装telnet工具

    yum -y install telnet

    image_1ct2mka501sde1ghkcq213hnuh96q.png-6.5kB

     

    2)通过telnet向Memcached中写入数据

    which telnet

    telnet 127.0.0.1 11211

    Trying 127.0.0.1... --->如果到这里代表未成功

    Escape character is '^]'. --->连接成功

    set user01 0 0 7 --->写入数据

    user01 --->键

    get user01 --->浏览数据

    delete user01 --->删除数据

    get user01 --->再浏览数据,数据被删除

    quit --->退出

    Connection closed by foreign host. --->退出提示

    image_1ct2mmtdn16b7aulfdqrfq1t6k77.png-32.6kB

     

    6.4 操作Memcached相关命令的语法

     

    以下为操作Memcached的相关命令基本语法

     
    1. set key1 0 0 6  benet
    2. <command name><key><flags><exptime><bytes><datablock><string><datablock>
    3. STORED
    4. <status>
     

    下表为操作Memcached相关命令的详细说明

    image_1crmci7v39bt1kaol4eokr7ib1p.png-158.3kB

     

    6.5 关闭Memcached

     

    单实例关闭Memcached的方法(直接杀主进程方式)

    ps -ef | grep memcached | grep -v grep

    killall memcached或pkill memcached

    netstat -antup | grep 11211

    image_1ct2nbm4816099c4o4c1jjpbnr7k.png-23.7kB

     

    若启动了多个实例Memcached,使用killall或pkill方式就会同时关闭这些实例!因此最好在启动时增加-P参数指定固定的pid文件,这样便于管理不同的实例。

    memcached -m 16m -p 11211 -d -u root -c 8192 -P /var/run/11211.pid

    memcached -m 16m -p 11212 -d -u root -c 8192 -P /var/run/11212.pid

    ps -ef | grep memcached | grep -v grep

    image_1ct2nkifk1tud1ptq1u451baj1djn8e.png-39.6kB

     

    此时,即可通过kill命令关闭Memcached

     
    1. kill `cat /var/run/11211.pid`

    netstat -antup | grep 11211

    netstat -antup | grep 11212

    image_1ct2nl6itsrt7oh7ok1mp32g48r.png-30kB

     

    七,安装Memcached客户端

     

    7.1 LNMP PHP环境准备

    详细搭建过程略,请参阅之前的LNMP章节

     

    7.2 Memcached缓存PHP扩展插件安装

    前面已经提过,Memcached分为服务器端软件和客户端插件两部分,这里是Memcached客户端PHP的扩展插件(memcache-2.2.7.tgz)在PHP环境中的安装,用于访问Memcached服务器端数据。

    PHP的Memcached扩展插件下载地址为:http://pecl.php.net/package/memcache

    Memcached所有包都在上方链接

    wget -q http://pecl.php.net/get/memcache-2.2.7.tgz --->上文有下载链接

    ls

    tar xf memcache-2.2.7.tgz -C /usr/src/

    cd /usr/src/memcache-2.2.7/

    /usr/local/php/bin/phpize

    ./configure --enable-memcache --with-php-config=/usr/local/php/bin/php-config

    make && make install

    ll -d /usr/local/php/lib/php/extensions/no-debug-non-zts-20090626/ 
    最后生成了memcache.so模块就表示memcache扩展插件成功安装

    image_1ctqjha746f1uc7q58b6m1p5u9.png-68.6kB


    image_1ctqjj0i41ktf1plij961ieb14n0m.png-27.4kB

     

    7.3 配置Memcache客户端,使其生效

    修改PHP的配置文件php.ini,加入Memcache客户端的配置,命令如下:

    cd /usr/local/php/lib/

    vim php.ini

     

    添加如下两行内容到php.ini文件结尾

    tail -2 php.ini

     
    1. extension_dir = "/usr/local/php/lib/php/extensions/no-debug-non-zts-20090626/"
    2. extension=memcache.so

    image_1ctqjleed281rq7108210ot1bj213.png-23.3kB

     

    7.4 重启php-fpm服务使PHP的配置修改生效

     

    1)检查php-fpm语法

    /usr/local/php/sbin/php-fpm -t

    image_1ctqjm8hv1plblo3t5v1gjfj1u1g.png-15.6kB

     

    2)重启fpm,命令如下

    pkill php-fpm

    netstat -antup | grep 9000

    /usr/local/php/sbin/php-fpm

    netstat -antup | grep 9000

    image_1ctqjnpedqgvs9b1hgpmiem031t.png-22.8kB

     

    3)打开浏览器访问phpinfo页面,若出现如下图所示内容,则表示Memcache客户端安装成功

    image_1ctql1k0s1f0td2qjjd13psju99.png-111.7kB

     

    7.5 编写测试Memcached服务的PHP脚本

     

    下面为简单的PHP程序连接Memcached测试脚本

    cd /usr/local/nginx/html/blog

    vim op_mem.php

    cat op_mem.php

    ls

     
    1. <?php
    2. $memcache = new Memcache;
    3. $memcache->connect('192.168.200.69','11211') or die ("Could not connect Mc server");
    4. $memcache->set('key','yunjisuan book');
    5. $get=$memcache->get('key');
    6. echo $get;
    7. ?>
     

    配置详解

     
    1. <?php #PHP开始标识
    2. $memcache = new Memcache; #创建一个Memcache对象
    3. $memcache->connect('192.168.0.240','11211') or die ("Could not connect Mc server"); #连接Memcached服务器
    4. $memcache->set('key','yunjisuan book'); #设置一个变量到内存中
    5. $get=$memcache->get('key'); #从内存中取出key
    6. echo $get; #输出key值到屏幕
    7. ?> #PHP结束标识

    image_1ctqlm51p17on7lulb9sci5l8m.png-59kB

     

    Linux本地测试

    /usr/local/php/bin/php op_mem.php #调用php解析器

    yunjisuan book #对应的key的值

    image_1ctqlpvq71dkp1h8s1kliqlm1m1a13.png-11.3kB

     

    windows访问测试

    image_1ctqlr18o1qa5u7pk9a1gu1ftg1g.png-13.8kB

    出现上述测试结果,就表示LNMP环境连接Memcached服务成功

     

    十,Memcached在集群中session共享案例

     

    10.1 Memcached在集群中的session共享存储实战

     

    以下是PHP Web环境集群的session共享存储设置

     

    默认php.ini中session的类型和配置路径为:

    awk '/session.save_handler/{print NR,$0}/session.save_path/{print NR,$0}' /usr/local/php/lib/php.ini

     
    1. 1461 session.save_handler = files #修改本行数据
    2. 1469 ; session.save_path = "N;/path"
    3. 1485 ; session.save_path = "N;MODE;/path"
    4. 1490 ;session.save_path = "/tmp" #修改本行数据
    5. 1566 ; (see session.save_path above), then garbage collection does *not*

    image_1ctqmauug1u7au265ke1r487oi2a.png-27.7kB

     

    修改成如下配置

    vim /usr/local/php/lib/php.ini

    sed -n '1461p;1490p' /usr/local/php/lib/php.ini

     
    1. session.save_handler = memcache
    2. session.save_path = "tcp://192.168.200.69:11211"

    image_1ctqmbtrp1dnh1nee1l6n1gek1ggj2n.png-18.9kB

     

    重启php-fpm服务

    pkill php-fpm

    netstat -antup | grep 9000

    /usr/local/php/sbin/php-fpm

    netstat -antup | grep 9000

    image_1ctqmd3gs132m1rsec0dtbt1var34.png-23.8kB

     

    说明

    192.168.200.69:11211为Memcached数据库缓存的IP及端口 
    上述配置适合LNMP/LAMP环境 
    Memcached服务器也可以是多台,并且可通过hash算法调度 
    配置完毕通过phpinfo页面查看效果如下图所示:

    image_1ctqm4n6s1l5415dr1ua71th03621t.png-106.8kB

     

    10.2 Memcached在集群中的session共享存储的优缺点

    优点:

    1)读写速度上会比普通files速度快很多

    2)可以解决多个服务器共用session的难题

    缺点:

    1)session数据都保存在memory中,持久化方面有所欠缺,但对session数据来说不是问题。

    2)一般是单台,如果部署多台,多台之间无法数据同步。通过hash算法分配依然有session丢失的问题。

    对于上面的缺点,解决思路如下:

    1)可以用其他的持久化系统存储sessions,例如:redis,ttserver来替代Memcached

    2)高性能高并发场景,cookies效率比session要好很多,因此,大网站都会用cookies解决会话共享问题

    3)有的已经就业了的同学通过牺牲LB的负载均衡的策略实现,例如:lvs-p,nginx ip_hash等,但这些不是好的方法。

  • 相关阅读:
    C# 使用NPlot绘图技巧
    jsp页面必填项如何加红星号*
    org.mybatis.spring.mapper.MapperScannerConfigurer 类作用
    mybatis对java自定义注解的使用——入门篇
    1.报表TIBCO Jaspersoft Studio工具教程入门--生成jrxml和jasper文件 然后拖拽到项目中 跟ireport一样
    eclipse安装weblogic Server服务器
    创建一个java项目并部署到weblogic服务器
    weblogicjsp编译:查看编译后的java中间代码
    html标签的target属性应用
    5.把报表集成到Web应用程序中-生成网页和导出两种方式
  • 原文地址:https://www.cnblogs.com/wangyinuo/p/10015526.html
Copyright © 2020-2023  润新知