在介绍 memcache之前,先来看看我服务器和本地的开发环境。
服务器:windows 2003,iis 6, mysql + asp.net 2.0 运行的网站
本地开发:win7+mysql+asp.net2.0 .之所以不用mssql2005/2008是因为考虑到付费的问题。
一:memcache 简介
在通常的应用中我们都会将数据保存到数据库中,每次需要的时候都会从数据库去查询这些数据,如果应用程序的用户很多就会出现大量并发访问数据库的情况,这样就会增加应用程序的响应时间,使用Memcached就可以有效解决这个问题。memcached是高性能的分布式内存缓存服务器软件。
为了提高性能,Memcached中的数据都保存在Memcached内置的存储空间中。因为当Memcached重启会导致其中的数据全部丢失,所以一般的方案是将数据保存在数据库中,每次请求数据的时候先查看在Memcached有没有缓存,如果有就直接从缓存中取出数据;如果没有,就从数据库中取出数据返回给应用程序并将请求的数据缓存到Memcached中,这样一来下次请求相同的数据就可以直接从Memcached中读取而不用再去查数据库了;一旦对数据有更新,同时更新数据库和Memcached。
Memcached是一个命令行窗口程序,可以在命令行窗口中启动也可以封装在系统服务中启动。在启动Memcached时需要提供一些必须的参数,指定Memcached运行时监听的端口和最大使用的内存大小等。如果缓存的数据大小超过指定内存,那么Memcached就会按照LRU(Least Recently Used/最久未使用)算法自动“删除”不使用的缓存(标记为失效),新增的缓存数据就可以使用这些标记为失效的数据所占用的内存,这样就不用担心Memcached超出所指定内存的问题。此外,为了提高性能,在缓存数据过期后Memcached并不是从物理内存中删除缓存的数据,仅仅在取出改数据的时候检查它是否已经过了有效期。
目前有多种平台的Memcached版本,比如Linux、FreeBSD、Solaris (memcached 1.2.5以上版本)、Mac OS X及Windows平台,在Windows平台上还有32位和64位版本。
Memcached有一套协议,利用这套协议可以对Memcached进行数据存取和查看Memcached的状态,很多程序语言都依据这套协议来操作Memcached,比如PHP、Java、C、C++及C#等。
获取了对应平台的Memcached版本就可以运行Memcached了。在这里仅以Windows平台上的32位Memcached为例。
二:memcache for windows 服务器端的软件下载与安装
由于最近的项目是使用.NET作为开发平台,而且使用的是Windows 作服务器。所以,首先要找到Windows平台下的Memcached版本。
下面,我将下载地址贴出来。
http://download.csdn.net/detail/dinglang_2009/3733784 或者 点击此处直接下载
三:如何用(有部分是转载别人的)
下载好了Memcached之后,解压到任意目录下,例如:
1. 解压缩文件到c:/memcached 进入cmd控制台(该不会有人问我这个cmd要怎么进去吧?)
2. 命令行输入 'c:/memcached/memcached.exe -d install' --安装 Memcached
3. 命令行输入 'c:/memcached/memcached.exe -d start' ,该命令启动 Memcached ,默认监听端口为 11211。其实可以通过 memcached.exe -p 11211 -m 64 指定它的监听端口是11211(这是它的默认端口,可以指定为其它大于1024的端口,因为小于1024的端口已经有了默认指定),最大使用内存为64m,如果启用了Windows防火墙,切记要在防火墙上打开这个端口。
注:通过 memcached.exe -h 可以查看其帮助 这里不多做介绍了
在客户端还可以通过telnet来查看和操作Memcached,前提是服务器端和客户端都支持Telnet协议,在Windows7和Windows2008中默认都不支持,需要在控制面板中安装和启用。
首先打开控制面板,然后点击“打开或关闭Windows功能”,如下图所示:点击“打开或关闭Windows功能”之后会看到当前系统启用的功能的状态,根据当前机器选择打开Telnet服务器端或者客户端功能,如下图所示:
经过上面的操作之后就可以在客服端远程查看Memcached的状态或者操作Memcached了。下面的命令就是连接到Memcached:
在dos窗口界面下 输入 telnet localhost 11211
连接之后会出现一个命令行窗口,在这个命令行窗口中输入"stats"就可以看到当前Memcached的状态,如下图所示:输入quit 指令,并按下Enter 退出
通过这个数据我们就可以了解Memcached的状态了。
这些数据所代表的意义如下:
pid:32u,服务器进程ID。
uptime:32u, 服务器运行时间,单位秒。
time :32u, 服务器当前的UNIX时间。
version :string, 服务器的版本号。
curr_items :32u, 服务器当前存储的内容数量 Current number of items stored by the server
total_items :32u, 服务器启动以来存储过的内容总数。
bytes :64u, 服务器当前存储内容所占用的字节数。
curr_connections :32u, 连接数量。
total_connections :32u, 服务器运行以来接受的连接总数。
connection_structures:32u, 服务器分配的连接结构的数量。
cmd_get :32u, 取回请求总数。
cmd_set :32u, 存储请求总数。
get_hits :32u, 请求成功的总次数。
get_misses :32u, 请求失败的总次数。
bytes_read :64u, 服务器从网络读取到的总字节数。
bytes_written :64u, 服务器向网络发送的总字节数。
limit_maxbytes :32u, 服务器在存储时被允许使用的字节总数。上面的描述中32u和64u表示32位和64位无符号整数,string表示是string类型数据。
四:memcache客户端的安装(.net版本)
启动并配置好Memcached的服务端之后呢?我们下面该准备基于.NET平台的客户端了:
据我总结,大概常见的有三四种吧。必要的类库或者源码,我都将提供给大家下载。
1).NET memcached client library
Memcached .NET客户端的类库,目前大概只支持.NET1.0和.NET2.0,笔者没仔细研究这个,估计这个已经过时啦。
2)enyim.com Memcached Client
源码地址:点击下载源码 (开源项目,可提供研究学习)
Enyim也是应用比较广泛的Memcached .net客户端,和之前的Memchachedonet 客户端相比,分布式算法应该做了相应优化
3)Memcached Providers
下载地址:点击下载
Memcached Providers的官网上有一份PDF的文档,是教你怎么配置的。英语不好的童鞋,可以直接参考我的配置(稍后会讲解)。
4) BeIT Memcached
这个笔者没用过,不做讲解了
下载enyim.com Memcached Client 和 Memcached Providers,解压后会发现,enyim.com Memcached Client中,还包含了著名的Log4net日志框架。
而Memcached Providers中其实包含了Enyim.Caching.dll,也包含了Log4netDLL。
Memcached Providers更强大,MemcachedProviders是对Enyim.Caching的再次封装,并加入了客户端计数器功能以及Session数据库管理功能。
当然,使用和配置起来也同样简单,方便,只是对于一些负责的操作和处理方面,功能更强大一些。
如果只是简单的应用,推荐直接使用enyim.com Memcached Client。除了添加必要的Enyim.Caching.dll引用,还需要修改应用程序的配置文件。
下面的代码贴出这两种方式的配置文件和测试代码:(放心,有详细的注释)
测试代码(实现最简单的功能)
using System; using System.Collections.Generic; using System.Linq; using System.Web; using System.Web.UI; using System.Web.UI.WebControls; using Enyim.Caching; using MemcachedProviders.Cache; using System.Threading; namespace MemcachedProject { public partial class _Default : System.Web.UI.Page { protected void Page_Load(object sender, EventArgs e) { testMemcachedProviders(); } /// <summary> /// 测试Enyim.Caching(注意:Enyim.Caching只具有MemcachedProviders的一部分功能,后者更强大。还可以集成Log4Net日志框架) /// </summary> public void testEnyimCaching() { MemcachedClient client = new MemcachedClient("enyim.com/memcached"); //存值 --不带过期时间的存储,Memcached将根据LRU来决定过期策略 bool result = client.Store(Enyim.Caching.Memcached.StoreMode.Add, "name", "dinglang"); //带过期时间的缓存 //bool success = client.Store(StoreMode.Add, person.UserName, person, DateTime.Now.AddMinutes(10)); if (result) { Response.Write("成功存入缓存"); //取值 object name = client.Get("name"); if (name != null) { Response.Write("取出的值为:" + name); } else { Response.Write("取值失败"); } } else { Response.Write("存入缓存失败"); } } /// <summary> /// 使用MemcachedProviders客户端 /// </summary> public void testMemcachedProviders() { string key = "myName"; string value = "Dylan"; bool result = false; string val = string.Empty; #region 存/取最简单的数据类型 //如果缓存中没有,就尝试着去存入缓存 if (DistCache.Get(key) == null) { //DistCache.DefaultExpireTime = 1200;//缓存时间 result = DistCache.Add(key, value); //存数据 if (result) { //如果存入成功,就试着去取 Thread.Sleep(500); string ret = (string)DistCache.Get(key); //读数据 //Assert.AreEqual(value, ret); //验证 if (ret != null) { Response.Write(ret); Response.Write("<br/>"); } else { //取出来的值为null,直接移除该缓存对象 DistCache.Remove(key);//移除 // DistCache.RemoveAll();//移除所有 } } } else { //缓存中有,直接拿数据 string ret = (string)DistCache.Get(key); if (ret != null) { Response.Write(ret); Response.Write("<br/>"); } else { DistCache.Remove(key); } } #endregion #region 存/取一个Person对象 Person person = new Person() { Id = 007, Name = "Dylan" };//new 一个Person对象的实例 //如果缓存中没有,则尝试着放入缓存 if (DistCache.Get<Person>("myObj") == null) { result = DistCache.Add("myObj", person); if (result) { Thread.Sleep(500); val = DistCache.Get("myObj").ToString(); if (val != null) { Response.Write(val); Response.Write("<br/>"); } else { DistCache.Remove("myObj"); } } } else { //缓存中已经有该对象,就直接从缓存取 Person p = DistCache.Get<Person>("myObj"); val = person.ToString(); //也可以直接这样取 // val = DistCache.Get("myObj").ToString(); if (val != null) { Response.Write(val); Response.Write("<br/>"); } else { DistCache.Remove("myObj"); } } #endregion } } }
Person类的定义代码:
这里需要说明的是如果我们需要向Memcached中添加自定义数据类型时,我们需要将该数据类型添加上[Serializable]标记。
[Serializable] public class Person { private int id; public int Id { get { return id; } set { id = value; } } private string name; public string Name { get { return name; } set { name = value; } } /// <summary> /// 重写Tostring(),方便输出验证 /// </summary> /// <returns></returns> public override string ToString() { return "Person:" + "{name:" + Name + ",id:" + Id + "}"; } }
web.config 配置信息:
<?xml version="1.0"?> <!-- 有关如何配置 ASP.NET 应用程序的详细信息,请访问 http://go.microsoft.com/fwlink/?LinkId=169433 --> <configuration> <!--Enyim.Caching配置(省略了Log4Net框架) For Memcached--> <!--<configSections> <sectionGroup name="enyim.com"> <section name="memcached" type="Enyim.Caching.Configuration.MemcachedClientSection, Enyim.Caching" /> </sectionGroup> </configSections> <enyim.com protocol="Binary"> <memcached> <servers> <add address="127.0.0.1" port="11121" /> </servers> <socketPool minPoolSize="10" maxPoolSize="100" connectionTimeout="00:00:10" deadTimeout="00:02:00" /> </memcached> </enyim.com>--> <!--The Enyim.Caching配置 End --> <!--MemcachedProviders的配置 --> <configSections> <section name="cacheProvider" type="MemcachedProviders.Cache.CacheProviderSection, MemcachedProviders" allowDefinition="MachineToApplication" restartOnExternalChanges="true"/> <sectionGroup name="enyim.com"> <section name="memcached" type="Enyim.Caching.Configuration.MemcachedClientSection, Enyim.Caching" /> </sectionGroup> <section name="log4net" type="log4net.Config.Log4NetConfigurationSectionHandler,log4net"/> </configSections> <cacheProvider defaultProvider="MemcachedCacheProvider"> <providers> <add name="MemcachedCacheProvider" type="MemcachedProviders.Cache.MemcachedCacheProvider, MemcachedProviders" keySuffix="_MySuffix_" defaultExpireTime="2000"/> </providers> </cacheProvider> <enyim.com> <memcached> <servers> <!-- put your own server(s) here--> <add address="127.0.0.1" port="11121" /> </servers> <socketPool minPoolSize="10" maxPoolSize="100" connectionTimeout="00:00:10" deadTimeout="00:02:00" /> </memcached> </enyim.com> <log4net> <appender name="ConsoleAppender" type="log4net.Appender.ConsoleAppender"> <layout type="log4net.Layout.PatternLayout"> <conversionPattern value="%date [%thread] %-5level %logger [%property{NDC}]- %message%newline" /> </layout> </appender> <root> <priority value="WARN"/> <appender-ref ref="ConsoleAppender"> <filter type="log4net.Filter.LevelRangeFilter"> <levelMin value="WARN"/> <levelMax value="FATAL"/> </filter> </appender-ref> </root> </log4net> <!--The MemcachedProviders配置 End 配置结束,下面的都是一些其他的配置,例如连数据库之类的,和我们的 memcache 无关--> <connectionStrings> <add name="ApplicationServices" connectionString="data source=.\SQLEXPRESS;Integrated Security=SSPI;AttachDBFilename=|DataDirectory|\aspnetdb.mdf;User Instance=true" providerName="System.Data.SqlClient" /> </connectionStrings> <system.web> <compilation debug="true" targetFramework="4.0" /> <authentication mode="Forms"> <forms loginUrl="~/Account/Login.aspx" timeout="2880" /> </authentication> <membership> <providers> <clear/> <add name="AspNetSqlMembershipProvider" type="System.Web.Security.SqlMembershipProvider" connectionStringName="ApplicationServices" enablePasswordRetrieval="false" enablePasswordReset="true" requiresQuestionAndAnswer="false" requiresUniqueEmail="false" maxInvalidPasswordAttempts="5" minRequiredPasswordLength="6" minRequiredNonalphanumericCharacters="0" passwordAttemptWindow="10" applicationName="/" /> </providers> </membership> <profile> <providers> <clear/> <add name="AspNetSqlProfileProvider" type="System.Web.Profile.SqlProfileProvider" connectionStringName="ApplicationServices" applicationName="/"/> </providers> </profile> <roleManager enabled="false"> <providers> <clear/> <add name="AspNetSqlRoleProvider" type="System.Web.Security.SqlRoleProvider" connectionStringName="ApplicationServices" applicationName="/" /> <add name="AspNetWindowsTokenRoleProvider" type="System.Web.Security.WindowsTokenRoleProvider" applicationName="/" /> </providers> </roleManager> </system.web> <system.webServer> <modules runAllManagedModulesForAllRequests="true"/> </system.webServer> </configuration>关于Memcached的基础部分,就先讲到这里。后续,我将会整理一些关于Memcached的高级技术,包括:复杂的存储(缓存/更新)控制模型,缓存策略,在分布式、集群、负载均衡的环境下的使用和管理技巧,性能监控,日志记录等.敬请期待。
本文出自blog.csdn.net/dinglang_2009,转载请注明出处。未经本人允许,任何人不得借此牟利。
Memcached系列文章汇总:
五:其他的一些问题的解答
- memcached是怎么工作的?
- memcached最大的优势是什么?
- memcached和MySQL的query cache相比,有什么优缺点?
- memcached和服务器的local cache(比如PHP的APC、mmap文件等)相比,有什么优缺点?
- memcached的cache机制是怎样的?
- memcached如何实现冗余机制?
- memcached如何处理容错的?
- 如何将memcached中item批量导入导出?
- 但是我确实需要把memcached中的item都dump出来,确实需要把数据load到memcached中,怎么办?
- memcached是如何做身份验证的?
- 如何使用memcached的多线程是什么?如何使用它们?
- memcached能接受的key的最大长度是多少?(250bytes)
- memcached对item的过期时间有什么限制?(为什么有30天的限制?)
- memcached最大能存储多大的单个item?(1M byte)
- 为什么单个item的大小被限制在1M byte之内?
- 为了让memcached更有效地使用服务器的内存,可以在各个服务器上配置大小不等的缓存空间吗?
- 什么是binary协议?它值得关注吗?
- memcached是如何分配内存的?为什么不用malloc/free!?究竟为什么使用slab呢?
- memcached能保证数据存储的原子性吗?