一. 我们的需求
你是否和我一样有如下的困扰:
- 你需要将一个类转换为XML或JSON存储或传输,但总有你不想存储或想特殊处理的字段,用序列化器自身的反射功能就看起来颇为鸡肋了。
- 与MongoDB等键值对数据库做交互,很多ORM框架都无效了,如何写一个通用的数据接口层?而且不用去添加丑陋的"MongoIgnore"这样的attribute?
- 你要将一个对象的属性“拷贝”到另外一个对象,怎么做?C语言的拷贝构造函数?那太原始了。
- 界面绑定:总有一些绑定表达式,想通过动态的形式提交给框架,而不是写死在xaml里,那是否又得在C#里写一堆对象映射的代码了?
大家肯定都遇到过和我相似的困扰,为了存储或读取某个对象(比如从文件或数据库里读取),你不得不写下大量数据类型转换和赋值语句,而且在程序中不能复用,这样的代码到处都是,真是代码的臭味。
由于键值对的概念已经深入人心,于是便有了这样一个叫做“字典序列化”的接口,该接口不是官方定义的,而是我根据实际需求总结的,同时我发现,它真的非常好用。
废话不说,先看该接口的定义:
/// <summary> /// 进行字典序列化的接口,方便实现键值对的映射关系和重建 /// </summary> public interface IDictionarySerializable { /// <summary> /// 从数据到字典 /// </summary> /// <returns></returns> IDictionary<string, object> DictSerialize(Scenario scenario = Scenario.Database); /// <summary> /// 从字典到数据 /// </summary> /// <param name="dicts">字典</param> /// <param name="scenario">应用场景</param> void DictDeserialize(IDictionary<string, object> dicts, Scenario scenario = Scenario.Database); }
它只有两个方法,一个是从字典中读取数据到实体类,另一个是将实体类的数据写入字典。你要做的,就是让你的实体类实现这个接口。
值得注意的是,函数参数中有一个Scenario枚举,该枚举指定了转换的场景,例如数据库和用户界面,在转换时可能就有一定的区别,程序员可通过实际情况来确定,具体原因可以看下边的部分。你可以传入更多的参数,指示该接口的独特序列化方法。
二. 如何使用?
先定义一个实体类:Artical, 它是一个简单的POCO类型, 包含Title等六个属性,为了节约篇幅,就不在此声明它了。我们先看如下的代码:
//define a entity named Artical with following propertynames public void DictDeserialize(IDictionary<string, object> dicts) { Title = (string)dicts["Title"]; PublishTime = (DateTime)dicts["PublishTime"]; Author = (string)dicts["Author"]; ArticalContent = (string)dicts["ArticalContent"]; PaperID = (int)dicts["PaperID"]; ClassID = (string)dicts["ClassID"]; } public IDictionary<string, object> DictSerialize() { var dict = new Dictionary<string, object> { { "Title", this.Title }, { "PublishTime", this.PublishTime.Value }, { "Author", this.Author }, { "ArticalContent", this.ArticalContent }, { "PaperID", this.PaperID.Value }, { "ClassID", this.ClassID } }; return dict; }
它指示了最常用的使用场景。可是读者可能会注意到以下问题:
Title = (string)dicts["Title"];
(1) 如果字典中没有对应的属性项,那么通过索引器读这个属性是会报错的。
(2) 即使有对应的属性项,可它的值是Null,那么它可能覆盖掉原本是正常的属性值。
(3) 类型不统一:这个字典可能是由JSON序列化器提供的,或是由某数据库的驱动提供的,那么,一个表示时间的字段,传过来的类型可能是DateTime,也可能是string,如何不用丑陋的代码做复杂的判断和转换呢?
对此,我们添加了一个IDictionary的扩展方法:
public static T Set<T>(this IDictionary<string, object> dict, string key, T oldValue) { object data = null; if (dict.TryGetValue(key, out data)) { Type type = typeof(T); if (type.IsEnum) { var index = (T)Convert.ChangeType(data, typeof(int)); return (index); } if (data == null) { return oldValue; } var value = (T)Convert.ChangeType(data, typeof(T)); return value; } return oldValue; }
于是,从字典中读取数据(字典反序列化),就可以变得像下面这样优雅了, 由于编译器的自动类型推断功能,连T都不用写了。如果数据获取失败,原有值不受影响。
public void DictDeserialize(IDictionary<string, object> dicts, Scenario scenario = Scenario.Database) { this.Title = dicts.Set("Title", this.Title); this.PublishTime = dicts.Set("PublishTime", this.PublishTime); this.Author = dicts.Set("Author", this.Author); this.ArticalContent = dicts.Set("ArticalContent", this.ArticalContent); this.PaperID = dicts.Set("PaperID", this.PaperID); this.ClassID = dicts.Set("ClassID", this.ClassID); }
可是,又会有人问,如果某属性的类型是List<T>,比如是string的数组呢?
这个问题会有点复杂,如何保存一个List<string>呢?如果是MongoDB,它的驱动是能直接存储/返回List<string>的,但如果是文件存储,一般会存储成JSON格式,例如["a","b","c","d"]这样的格式,因此我们可以定义如下的扩展方法:
public static List<T> SetArray<T>(this IDictionary<string, object> dict, string key, List<T> oldValue) { object data = null; if (dict.TryGetValue(key, out data)) { var list = data as List<T>; if (list != null) return list; string str = data.ToString(); if (str=="[]") return oldValue; if (str[0] != '[') return oldValue; return JsonConvert.Import<List<T>>(str); } return oldValue.ToList(); }
这里为了转换JSON风格的string,用了第三方的JSON转换库:Jayrock.Json. 如果你自己有数组和string的转换方法,不妨可以写新的扩展方法。
通过该接口,可方便的实现对象间的数据拷贝:
public T Copy<T>(T oldValue) where T : IDictionarySerializable, new() { IDictionary<string, object> data = oldValue.DictSerialize(); var newValue = new T(); newValue.DictDeserialize(data); return newValue; }
三. 如何做数据库接口层?
有了这样的接口,我们就可以方便的做一个数据接口层,隔离数据库和真实类型了,下面依旧以MongoDB为例。如果我们需要获取表内所有的对象,可用如下的方法:
/// <summary> /// 获取数据库中的所有实体 /// </summary> /// <returns></returns> public List<T> GetAllEntitys<T>(string tableName) where T : IDictionarySerializable, new() { if (this.IsUseable == false) { return new List<T>(); } IMongoCollection<Document> collection = this.DB.GetCollection<Document>(tableName); var documents = collection.FindAll().Documents.ToList(); var list = new List<T>(); foreach (Document document in documents) { var user = new T(); user.DictDeserialize(document); list.Add(user); } return list; }
如果想更新或保存一个文档,可以用如下的代码:
/// <summary> /// 更新或增加一个新文档 /// </summary> /// <param name="entity"></param> /// <param name="tableName">表名 </param> /// <param name="keyName"> </param> /// <param name="keyvalue"> </param> public void SaveOrUpdateEntity(IDictionarySerializable entity, string tableName, string keyName, object keyvalue) { if (this.IsUseable == false) { return; } IMongoCollection<Document> collection = this.DB.GetCollection<Document>(tableName); Document document = collection.FindOne(new Document { { keyName, keyvalue } }); if (document != null) { this.UpdateDocument(entity, document); collection.Save(document); } else { Document doc = this.GetNewDocument(entity); collection.Save(doc); } } private Document GetNewDocument(IDictionarySerializable entity) { IDictionary<string, object> datas = entity.DictSerialize(); var document = new Document(datas); return document; } private void UpdateDocument(IDictionarySerializable data, Document document) { IDictionary<string, object> datas = data.DictSerialize(); foreach (string key in datas.Keys) { document[key] = datas[key]; } }
可以通过泛型或者接口的方法,方便的读取/存储这些数据。
完整的驱动层代码,在这里:
/// <summary> /// Mongo数据库服务 /// </summary> public class MongoServiceBase { #region Constants and Fields protected IMongoDatabase DB; protected Mongo Mongo; private Document update; #endregion //链接字符串 #region Properties public string ConnectionString { get; set; } //数据库名 public string DBName { get; set; } public bool IsUseable { get; set; } /// <summary> /// 本地数据库位置 /// </summary> public string LocalDBLocation { get; set; } #endregion #region Public Methods /// <summary> /// 连接到数据库,只需执行一次 /// </summary> public virtual bool ConnectDB() { var config = new MongoConfigurationBuilder(); config.ConnectionString(this.ConnectionString); //定义Mongo服务 this.Mongo = new Mongo(config.BuildConfiguration()); if (this.Mongo.TryConnect()) { this.IsUseable = true; this.update = new Document(); this.update["$inc"] = new Document("id", 1); this.DB = this.Mongo.GetDatabase(this.DBName); } else { this.IsUseable = false; } return this.IsUseable; } public T Copy<T>(T oldValue) where T : IDictionarySerializable, new() { IDictionary<string, object> data = oldValue.DictSerialize(); var newValue = new T(); newValue.DictDeserialize(data); return newValue; } /// <summary> /// 创建一个自增主键索引表 /// </summary> /// <param name="tableName">表名</param> public void CreateIndexTable(string tableName) { if (this.IsUseable == false) { return; } IMongoCollection idManager = this.DB.GetCollection("ids"); Document idDoc = idManager.FindOne(new Document("Name", tableName)); if (idDoc == null) { idDoc = new Document(); idDoc["Name"] = tableName; idDoc["id"] = 0; } idManager.Save(idDoc); } /// <summary> /// 获取数据库中的所有实体 /// </summary> /// <returns></returns> public List<T> GetAllEntitys<T>(string tableName) where T : IDictionarySerializable, new() { if (this.IsUseable == false) { return new List<T>(); } IMongoCollection<Document> collection = this.DB.GetCollection<Document>(tableName); List<Document> documents = collection.FindAll().Documents.ToList(); var list = new List<T>(); foreach (Document document in documents) { var user = new T(); user.DictDeserialize(document); list.Add(user); } return list; } /// <summary> /// 获取一定范围的实体 /// </summary> /// <param name="tableName"></param> /// <param name="type"></param> /// <param name="mount"></param> /// <param name="skip"></param> /// <returns></returns> public List<IDictionarySerializable> GetAllEntitys(string tableName, Type type) { if (this.IsUseable == false) { return new List<IDictionarySerializable>(); } List<Document> docuemts = this.DB.GetCollection<Document>(tableName).FindAll().Documents.ToList(); var items = new List<IDictionarySerializable>(); foreach (Document document in docuemts) { object data = Activator.CreateInstance(type); var suck = (IDictionarySerializable)data; suck.DictDeserialize(document); items.Add(suck); } return items; } /// <summary> /// 获取一定范围的实体 /// </summary> /// <param name="tableName"></param> /// <param name="type"></param> /// <param name="mount"></param> /// <param name="skip"></param> /// <returns></returns> public List<IDictionarySerializable> GetEntitys(string tableName, Type type, int mount, int skip) { if (this.IsUseable == false) { return new List<IDictionarySerializable>(); } List<Document> docuemts = this.DB.GetCollection<Document>(tableName).FindAll().Skip(skip).Limit(mount).Documents.ToList(); var items = new List<IDictionarySerializable>(); foreach (Document document in docuemts) { object data = Activator.CreateInstance(type); var suck = (IDictionarySerializable)data; suck.DictDeserialize(document); items.Add(suck); } return items; } public List<T> GetEntitys<T>(string tableName, int mount, int skip) where T : IDictionarySerializable, new() { if (this.IsUseable == false) { return new List<T>(); } ICursor<Document> collection = this.DB.GetCollection<Document>(tableName).Find(null).Skip(skip).Limit(mount); var users = new List<T>(); foreach (Document document in collection.Documents) { var user = new T(); user.DictDeserialize(document); users.Add(user); } return users; } /// <summary> /// 直接插入一个实体 /// </summary> /// <param name="user"></param> /// <param name="tableName"></param> public bool InsertEntity(IDictionarySerializable user, string tableName, string key, out int index) { if (this.IsUseable == false) { index = 0; return false; } IMongoCollection<Document> collection = this.DB.GetCollection<Document>(tableName); IMongoCollection idManager = this.DB.GetCollection("ids"); Document docID = idManager.FindAndModify(this.update, new Document("Name", tableName), returnNew: true); //下面三句存入数据库 Document doc = this.GetNewDocument(user); doc[key] = docID["id"]; index = (int)docID["id"]; ; collection.Save(doc); return true; } public void RepairDatabase() { bool local = (this.ConnectionString.Contains("localhost") || this.ConnectionString.Contains("127.0.0.1")); if (local == false) { throw new Exception("MongoDB数据库不在本地,无法启动自动数据库修复"); } var mydir = new DirectoryInfo(this.LocalDBLocation); FileInfo file = mydir.GetFiles().FirstOrDefault(d => d.Name == "mongod.lock"); if (file == null) { throw new Exception("修复失败,您是否没有安装MongoDB数据库"); } try { File.Delete(file.FullName); string str = CMDHelper.Execute("net start MongoDB"); } catch (Exception ex) { } } /// <summary> /// 更新或增加一个新文档 /// </summary> /// <param name="entity"></param> /// <param name="tableName">表名 </param> /// <param name="keyName"> </param> /// <param name="keyvalue"> </param> public void SaveOrUpdateEntity( IDictionarySerializable entity, string tableName, string keyName, object keyvalue) { if (this.IsUseable == false) { return; } IMongoCollection<Document> collection = this.DB.GetCollection<Document>(tableName); Document document = collection.FindOne(new Document { { keyName, keyvalue } }); if (document != null) { this.UpdateDocument(entity, document); collection.Save(document); } else { Document doc = this.GetNewDocument(entity); collection.Save(doc); } } public bool TryFindEntity<T>(string tableName, string keyName, object keyvalue, out T result) where T : class, IDictionarySerializable, new() { IMongoCollection<Document> collection = this.DB.GetCollection<Document>(tableName); Document document = collection.FindOne(new Document { { keyName, keyvalue } }); if (document == null) { result = null; return false; } result = new T(); try { result.DictDeserialize(document); } catch (Exception ex) { XLogSys.Print.Error(ex); } return true; } #endregion #region Methods private Document GetNewDocument(IDictionarySerializable entity) { IDictionary<string, object> datas = entity.DictSerialize(); var document = new Document(datas); return document; } private void UpdateDocument(IDictionarySerializable data, Document document) { IDictionary<string, object> datas = data.DictSerialize(); foreach (string key in datas.Keys) { document[key] = datas[key]; } } #endregion }
四.一些问题
下面我们讨论一些遇到的问题:
- 为什么不用反射来读写字段?而非要显式的实现这两个接口呢?
性能是首先要考虑的,而实现这两个接口意味着更多的控制权和灵活性。 另外,对于很多键值对的数据库来说,“Key”也是要占用存储空间的,而且占用不少。如果实体类中字段属性特别长,那么就会占用可观的存储,MongoDB就是如此。因此,在读写数据库的场景中,应当保持Key较短。
- IDictionary<string, object> 的object是不是会有性能影响?
由于保存的是String-object的键值对形式,因此不可避免的存在装箱和拆箱操作,在数据量大时,性能损耗肯定还是有的。不过,大部分数据库驱动不也有大量这种操作么?毕竟只需要读写一次即可,性能损失可忽略不计,再说,还有更好的方法么?
- 是否能通过该接口实现LINQ查询甚至SQL查询?
应该是可以的,它建立了属性与名称的映射关系,因此可以通过该接口实现LINQ和SQL解析器,实现查询等功能。
- 为什么不用官方的ISerializable接口呢?
原因如第一条,依靠attribute的方法没有灵活性,同时,对二进制序列化等操作,实现起来也比较困难。
五. 其他应用场景
除了上面介绍的应用场景之外,该接口还能用于如下用途:
- 环境和模块配置: 可以方便的将环境中所有的配置以键值对的方式存储,并在需要的时候加载
- RPC: 由于实现了到XML/JSON的方便转换,可以很容易的实现远程过程调用
- Word文档导出:该接口包含了键值对,因此在Word模板中,可以写上Key, 通过该接口,一次性全部替换即可,非常方便。
- 界面绑定: 通过该接口实现动态的Binding语法。
一个方便的东西,应该是简单的。通过该接口获得的好处非常多,还需要大家去挖掘。值得提出的是,它也能应用在其他语言上,比如JAVA, 用HashMap<String,Object>来实现类似的需求。
如果有任何问题,欢迎讨论!