• memcached源代码阅读笔记(一)


    缓存在系统设计中占有非常重要的地位。对于构建大型系统,缓存的使用非常重要。一般,缓存的目的都是为了将那些耗时又耗资源的东西,临时的保存在一个能够快速获取的地方,以此来减少资源的消耗,让我们可以更快的得到那些东西。简单的情况,比如我们可以把从数据库里取到的数据放到一个hashtable中,比如以sql为条件。在一定时间内,只要去数据库里取一次,然后就可以重复利用多次。这是个非常简单的缓存利用场景。

    但是随着系统规模的增长,这种缓存机制就慢慢的不足以应付我们的需求。因为hashtable的这种方式,决定着这个hashtable肯定是与我们的应用放到同一个进程的。如果系统规模大了,我们可能要部署多个应用,进程内的hashtable不能为多个不同进程的应用提供支持了,我们就必须将这个hashtable独立出来,独立到应用外,让几个应用共享这个hashtable。这样,专门的缓存服务器就出现了。而memcache就是这其中极为优秀的一款。 

    那么从表面来看,类似memcache这种缓存服务器的结构应该是这个样子:

    user <--------command and data---------> Network layer <----------------->parse user command <------------hashtable

    更通俗点讲就是讲一个hashtable放到了网上提供服务。

    但是,因为这样我们访问缓存需要访问网络,所以就比访问本地的hashtable性能要差。而且一般来讲,在一个繁忙的系统种,缓存的访问是非常频繁的,如果缓存访问不频繁,那么大部分请求就会落到最终的资源上:比如数据库。这样就会给这些慢速的资源带来更大的压力。

    所以这种缓存服务器的网络层一定要优秀,除了能提供很大的并发量外,还要能提供很好的响应能力。而作为后端的hashtable也要提供很好的访问速度。在内存分配上也要更有效率。

    memcache

    memcache是一个用C写的缓存服务器。它的网络层使用的是大名鼎鼎的libevent(一个基于事件驱动的网络库)。libevent在linux上可以利用epoll这柄利器,而在windows上能利用IOCP这把尖刀。除此之外,还能将网络的传输与业务逻辑处理分离开来。


    好了,上面对缓存的基本知识做了点介绍,也简单的介绍了下memcache的结构,下面我们将先从一个用户的角度来简单看看如何使用memcache,会使用后再深入代码,也能相互做个对应。 

    跟所有的开源代码一样,checkout出来,三步就可以使用了:

    ./configure

    make

    make install

    然后进入memcache的目录,启动memcached:

    ./memcached -p 9000

    memcached提供了tcp和udp两种方式,不过大部分时候我们都是采用tcp的方式。memcache的协议也有两种方式:文本和二进制。

    注:现在memcache的协议基本上成了很多网络服务的标准协议了。即使一些跟memcache半点关系都没有的服务也提供memcache协议访问的方式,这样可以让memcache客户端来连接。 

    下面我们就用telnet连上memcache服务器,简单的操作几个命令:

    >telnet 127.0.0.1 9000

    stats

    STAT pid 3694
    STAT uptime 119
    STAT time 1323700770
    STAT version 1.4.10
    STAT libevent 2.0.16-stable
    STAT pointer_size 64
    STAT rusage_user 0.003002
    STAT rusage_system 0.005005
    STAT curr_connections 10
    STAT total_connections 11
    STAT connection_structures 11
    STAT reserved_fds 20
    STAT cmd_get 0
    STAT cmd_set 0
    STAT cmd_flush 0
    STAT cmd_touch 0
    STAT get_hits 0
    STAT get_misses 0
    STAT delete_misses 0
    STAT delete_hits 0
    STAT incr_misses 0
    STAT incr_hits 0
    STAT decr_misses 0
    STAT decr_hits 0
    STAT cas_misses 0
    STAT cas_hits 0
    STAT cas_badval 0
    STAT touch_hits 0
    STAT touch_misses 0
    STAT auth_cmds 0
    STAT auth_errors 0
    STAT bytes_read 7
    STAT bytes_written 0
    STAT limit_maxbytes 67108864
    STAT accepting_conns 1
    STAT listen_disabled_num 0
    STAT threads 4
    STAT conn_yields 0
    STAT hash_power_level 16
    STAT hash_bytes 524288
    STAT hash_is_expanding 0
    STAT expired_unfetched 0
    STAT evicted_unfetched 0
    STAT bytes 0
    STAT curr_items 0
    STAT total_items 0
    STAT evictions 0
    STAT reclaimed 0
    END
    打印出memcache的一些监控数据

    stats settings

    STAT maxbytes 67108864
    STAT maxconns 1024
    STAT tcpport 9000
    STAT udpport 9000
    STAT inter NULL
    STAT verbosity 0
    STAT oldest 0
    STAT evictions on
    STAT domain_socket NULL
    STAT umask 700
    STAT growth_factor 1.25
    STAT chunk_size 48
    STAT num_threads 4
    STAT num_threads_per_udp 4
    STAT stat_key_prefix :
    STAT detail_enabled no
    STAT reqs_per_event 20
    STAT cas_enabled yes
    STAT tcp_backlog 1024
    STAT binding_protocol auto-negotiate
    STAT auth_enabled_sasl no
    STAT item_size_max 1048576
    STAT maxconns_fast no
    STAT hashpower_init 0
    END
    打印出memcache的设置信息

    set user1 32 0 10

    {'uname':'yuyijq','pwd':'12345'}

    STORED

    上面的命令将一个User对象的JSON放到memcache中。

    get user1

    {'uname':'yuyijq','pwd':'12345'}

    END

    根据刚才存储的key,取回那个用户对象的json串。

    因为这个协议非常简单命令,所以也很容易开发一个client,在程序里我们就可以利用上memcache这个利器了。 


    好了,下一篇我们将根据这一篇输入的几个命令,来对应的追随代码的脚印。 

  • 相关阅读:
    数组中的逆序对
    第一个只出现一次的字符
    丑数
    把数组排成最小的数
    整数中出现1的个数
    连续子数组最大和
    JS之window对象
    JS之递归(例题:猴子吃桃)
    JS中函数的基础知识
    JS数组2(冒泡排列、数组里面查找数据)
  • 原文地址:https://www.cnblogs.com/yuyijq/p/2271349.html
Copyright © 2020-2023  润新知