一、前言
本教程是入门基础教程,主要是笔者在项目中使用MongoDB .Net官方驱动对MongoDB内嵌文档的操作时遇到了很多不方便的情况,踩了很多的坑,所以单独整理出来一篇文章,来讲一讲笔者踩坑的过程。
笔者水平有限,如有错误还请批评指正!
1. 运行环境
.net版本
.Net Framwork 4.6.2 x64
MongoDb数据库版本
MongoDb 3.6.2 x64
驱动版本
MongoDb Driver 2.5
笔者采用的MongoDB驱动是官方2.5版本驱动,大家可以通过下载GitHub源码自行编译,或者通过NuGet包管理工具安装。
GitHub地址:戳一戳查看、Link
NuGet地址:戳一戳查看、Link
本例源码已上传至Gitee
本例源码地址:戳一戳、Link
二、前期准备工作
1. 创建 MongoDBContext MongoDb操作上下文类
创建MongoDBContext操作上下文类,用于连接Mongodb数据库和管理Collection对象
using MongoDB.Bson;
using MongoDB.Driver;
using System;
using System.Collections.Generic;
using System.Security.Authentication;
using System.Threading.Tasks;
namespace MongoDBEmbeddedOperation
{
public class MongoDbContext
{
#region Fields
/// <summary>
/// 缓存Mongodb集合
/// </summary>
private Dictionary<string, object> _collectionsMongoDb;
#endregion
#region Properties
/// <summary>
/// 数据库连接字符串
/// </summary>
public string ConnectionString { get; }
/// <summary>
/// Mongo客户端设置
/// </summary>
public MongoClientSettings Settings { get; }
/// <summary>
/// 数据库名称
/// </summary>
public string DatabaseName { get; }
/// <summary>
/// Mongo上下文
/// </summary>
public IMongoDatabase DbContext { get; }
#endregion
/// <summary>
/// MongoDb数据上下文
/// </summary>
/// <param name="connectionString">
/// 连接字符串,如:"mongodb://username:password@host:port/[DatabaseName]?ssl=true"
/// 详情参见:http://www.runoob.com/mongodb/mongodb-connections.html
/// </param>
public MongoDbContext(string connectionString)
{
if (string.IsNullOrWhiteSpace(connectionString))
throw new ArgumentException("connectionString 连接字符串不能为空!");
try
{
var mongoUrl = new MongoUrl(connectionString);
ConnectionString = connectionString;
Settings = MongoClientSettings.FromUrl(mongoUrl);
if (string.IsNullOrWhiteSpace(mongoUrl.DatabaseName))
throw new ArgumentException("数据库名称不能为空!");
DatabaseName = mongoUrl.DatabaseName;
// SSL加密
if (Settings.UseSsl)
{
Settings.SslSettings = new SslSettings
{
EnabledSslProtocols = SslProtocols.Tls12
};
}
var mongoClient = new MongoClient(Settings);
DbContext = mongoClient.GetDatabase(DatabaseName);
}
catch (Exception e)
{
// TODO: 记录错误日志
throw;
}
}
/// <summary>
/// 异步获取集合
/// </summary>
/// <typeparam name="TEntity"></typeparam>
/// <returns></returns>
public async Task<IMongoCollection<TEntity>> GetCollectionAsync<TEntity>() where TEntity : class
{
// 集合缓存如果为空,那么创建一个
if (_collectionsMongoDb == null)
{
_collectionsMongoDb = new Dictionary<string, object>();
}
// 获取集合名称,使用的标准是在实体类型名后添加Set
var collectionName = $"{typeof(TEntity).Name}Set";
// 如果集合不存在,那么创建集合
if (false == await IsCollectionExistsAsync<TEntity>())
{
await DbContext.CreateCollectionAsync(collectionName);
}
// 如果缓存中没有该集合,那么加入缓存
if (!_collectionsMongoDb.ContainsKey(collectionName))
{
_collectionsMongoDb[collectionName] = DbContext.GetCollection<TEntity>(collectionName);
}
// 从缓存中取出集合返回
return (IMongoCollection<TEntity>)_collectionsMongoDb[collectionName];
}
/// <summary>
/// 集合是否存在
/// </summary>
/// <typeparam name="TEntity"></typeparam>
/// <returns></returns>
public async Task<bool> IsCollectionExistsAsync<TEntity>()
{
var filter = new BsonDocument("name", $"{typeof(TEntity).Name}Set");
// 通过集合名称过滤
var collections = await DbContext.ListCollectionsAsync(new ListCollectionsOptions { Filter = filter });
// 检查是否存在
return await collections.AnyAsync();
}
}
}
2.创建测试类
假设当前是一个物联网数据采集项目,其中有很多个传感器节点(SensorNode),每个节点都会产生记录(Records),一条记录(Record)由数据值(Data)和记录时间(RecordDateTime)组成。要求对其Recods内嵌数组进行增删改查操作。
那么由上需求可以抽象出如下对象关系,在实际应用中,不建议将记录直接放在SensorNode下,因为Mongodb数据库对单个文档有16MB的大小限制。
/// <summary>
/// 传感器节点
/// </summary>
public class SensorNode
{
/// <summary>
/// ID
/// </summary>
public ObjectId Id { get; set; }
/// <summary>
/// 记录数
/// </summary>
public List<Record> Records { get; set; }
}
/// <summary>
/// 数据记录
/// </summary>
public class Record
{
/// <summary>
/// 数据值
/// </summary>
public double Data { get; set; }
/// <summary>
/// 记录时间
/// </summary>
public DateTime RecorDateTime { get; set; }
}
测试类所对应的Bson结构,如下所示.
{
"_id" : ObjectId("5aa877e4aa25752ab4d4cae3"),
"Records" : [
{
"Data" : 1962163552.0,
"RecorDateTime" : ISODate("2018-03-16T10:01:14.931Z")
},
{
"Data" : 1111405346.0,
"RecorDateTime" : ISODate("2018-03-16T08:53:14.931Z")
},
......
]
}
3.创建测试代码
新建一个控制台程序,加入以下代码。对MongodbContext进行初始化,插入用于测试的SensorNode.
using System;
using System.Collections.Generic;
using System.Text;
using System.Threading.Tasks;
using MongoDB.Bson;
using MongoDB.Driver.Linq; // <---- 此引用非常重要
using MongoDB.Driver;
......
private static ObjectId _sensorNodeId;
private static MongoDbContext _dbContext;
private static IMongoCollection<SensorNode> _sensorNodes;
static void Main(string[] args)
{
// 使用链接字符串创建dbContext对象
_dbContext = new MongoDbContext("mongodb://hynuAdmin:123456@localhost:27017/HynuIOTA");
// 创建_Sensors数据库,入口方法不能使用异步,我们等待结果返回
_sensorNodes = _dbContext.GetCollectionAsync<SensorNode>().Result;
// 创建一个SensorNode 存入MongoDb数据库中
_sensorNodeId = ObjectId.Parse("5aa877e4aa25752ab4d4cae3");
#region 创建测试用例
var sensorNode = new SensorNode()
{
Id = _sensorNodeId,
Records = new List<Record>()
};
// 插入数据库中
_sensorNodes.InsertOne(sensorNode);
#endregion
}
添加一个方法,用于随机生成Record对象。
/// <summary>
/// 生成count个Rocred对象
/// </summary>
/// <param name="count">生成数量</param>
/// <returns></returns>
static List<Record> GetRandomRecord(int count)
{
var records = new List<Record>();
var rd = new Random();
for (int i = 0; i < count; i++)
{
records.Add(new Record()
{
Data = rd.Next(),
RecorDateTime = DateTime.Now.AddMinutes(rd.Next() % 100)
});
}
return records;
}
三、内嵌数组增加元素操作
1.Update.Set()方法 替换内嵌数组(不推荐使用)
此方法主要使用操作符[$set],它的思路是先将内嵌文档的父元素查找出来,然后对子文档数组进行增删改操作,最后将子文档数组重新替换。此方式性能较低,除非涉及到大批量更改,否则不推荐使用。
#region 方法一. 查出sensor再更新Records, $set操作 - 随机插入100个元素(不推荐)
// 查询需修改的sensorNode对象
var sensor = await _sensorNodes.Find(s => s.Id == _sensorNodeId).FirstOrDefaultAsync();
// 往Records里面增加随机元素
sensor.Records.AddRange(GetRandomRecord(100));
// 构建update Bson, 将原有Records替换为新的Records
var update = Builders<SensorNode>.Update.Set(d => d.Records, sensor.Records);
// 使用Update方法
await _sensorNodes.UpdateOneAsync(s => s.Id == _sensorNodeId, update);
#endregion
2.Update.Push()方法 直接将元素压入内嵌数组(推荐)
此方法主要使用操作符[$push]来增加元素到子文档数组,性能好,推荐使用。
// 构建update Bson ,添加一条记录使用Push方法
var updateOne = Builders<SensorNode>.Update.Push(d => d.Records, GetRandomRecord(1).First());
// 更新
await _sensorNodes.UpdateOneAsync(s => s.Id == _sensorNodeId, updateMany);
3. Update.PushEach()方法 将多个元素压入内嵌数组(推荐)
此方法使用的也是[$push]操作符,只是在生成BsonDocument时允许接收数组。
#region 方法二. $push操作 - 随机插入100个元素(推荐)
// 构建update Bson 添加多条记录使用PushEach方法
var updateMany = Builders<SensorNode>.Update.PushEach(d => d.Records, GetRandomRecord(100));
// 更新
await _sensorNodes.UpdateOneAsync(s => s.Id == _sensorNodeId, updateMany);
#endregion
四、内嵌数组删除元素操作
1. Update.Set()方法 替换内嵌数组(不推荐使用)
此方式思路和增加元素的思路一致,性能较低,不推荐使用。
#region 方法一 . $set方式删除 - 删除前5个元素(不推荐)
// 查询需修改的sensorNode对象
var sensor = await _sensorNodes.Find(s => s.Id == _sensorNodeId).FirstOrDefaultAsync();
// 删除Record
for (int i = 0; i < 5; i++)
{
sensor.Records.RemoveAt(i);
}
// 构建update Bson, 将原有Records替换为新的Records
var update = Builders<SensorNode>.Update.Set(d => d.Records, sensor.Records);
// 使用Update方法
await _sensorNodes.UpdateOneAsync(s => s.Id == _sensorNodeId, update);
#endregion
2. Update.Pull()方法 Pull删除一个元素(推荐)
// 假设需要删除的Record已经被查询转换为对象,那么使用Pull方式删除一个元素
var record = new Record()
{ Data = 1670941112.0, RecorDateTime = DateTime.Parse("2018-03-16T09:36:14.930Z") };
// 构建Pull删除Bson
var update = Builders<SensorNode>.Update.Pull(s => s.Records, record);
// 使用Update方法
await _sensorNodes.UpdateOneAsync(s => s.Id == _sensorNodeId, update);
3. Update.PullFilter()方法 删除过滤器删除元素(推荐)
#region 方法三. PullFilter方式删除 - 删除符合Filter条件的元素(推荐)
// 如果r.Data == 339119843.0,那么从数组中删除
var update = Builders<SensorNode>.Update.PullFilter(s => s.Records, r => r.Data == 339119843.0);
await _sensorNodes.UpdateOneAsync(s => s.Id == _sensorNodeId, update);
#endregion
五、内嵌数组修改元素操作
1. Update.Set() Set先查询后修改(不推荐)
此方式性能较低,不推荐。
#region 方法一. $set方式修改(将某个元素记录时间改为最小值) - 先查询后修改(不推荐)
// 查询需修改的sensorNode对象
var sensor = await _sensorNodes.Find(s => s.Id == _sensorNodeId).FirstOrDefaultAsync();
// 修改Record值
sensor.Records[0].RecorDateTime = DateTime.MinValue;
// 构建update Bson, 将原有Records替换为新的Records
var update = Builders<SensorNode>.Update.Set(d => d.Records, sensor.Records);
// 使用Update方法
await _sensorNodes.UpdateOneAsync(s => s.Id == _sensorNodeId, update);
#endregion
2. Update.Set() 配合过滤器修改(推荐)
在数据库内部完成过滤和修改,性能高,推荐使用。
#region 方法二. $set方式修改(将Data = 1835821478.0的元素记录时间改为最大值) - 直接过滤修改(推荐)
// 构造filter
var filter = Builders<SensorNode>.Filter.Where(s => s.Id == _sensorNodeId)
& Builders<SensorNode>.Filter.Where(d => d.Records.Any(r => r.Data == 1835821478.0));
// 执行更新
var update = Builders<SensorNode>.Update.Set(d => d.Records[-1].RecorDateTime, DateTime.MaxValue);
await _sensorNodes.UpdateOneAsync(filter, update);
#endregion
六、内嵌数组查找元素操作(Linq)
对于内嵌数组/文档的查询,在.net里建议直接使用Linq或拼接BsonDocument。笔者着重使用Linq方式。
需要先using MongoDB.Driver.Linq,否则Linq无法使用。
1. Linq查询一条记录(推荐)
主要是SelectMany()方法的使用,此方法用于选择一个数组。
#region SelectMany查询内嵌数组(查询Data = 1340695206.0的第一条记录) - (推荐)
// 转换为Queryable
var result = await _sensorNodes.AsQueryable()
// 查找对应的sensorNode
.Where(s => s.Id == _sensorNodeId)
// 选择Records内嵌数组
.SelectMany(s => s.Records)
// 查找Data == 1340695206.0的元素
.Where(r => r.Data == 1340695206.0)
// 取第一个
.FirstOrDefaultAsync();
#endregion
2. Linq查询分页 (推荐)
主要区别使用SelectMany其它与EF Linq方式差不多
#region SelectMany、Skip、Take内嵌数组排序分页 - (推荐)
// 页码
var index = 4;
// 页面大小
var size = 10;
// 转换为Queryable
var page = await _sensorNodes.AsQueryable()
// 查找对应的sensorNode
.Where(s => s.Id == _sensorNodeId)
// 选择Records内嵌数组
.SelectMany(s => s.Records)
// 根据记录时间排序
.OrderBy(r => r.RecorDateTime)
// 跳过 index - 1页数据
.Skip((index - 1) * size)
// 选取一页数据
.Take(size)
// 转换为集合
.ToListAsync();
#endregion
对内嵌数组的查询操作主要是通过聚合来实现,以上代码转换为Native方式后是以下命令。
aggregate(
[
{"$match" : { "_id" : ObjectId("5aa877e4aa25752ab4d4cae3") } },
{ "$unwind" : "$Records" },
{ "$project" : { "Records" : "$Records", "_id" : 0 } },
{ "$sort" : { "Records.RecorDateTime" : 1 } }, { "$skip" : 30 }, { "$limit" : 10 }
]);
如果同时引用了System.Linq 和 MongoDB.Driver.Linq 调用Linq方法会产生方法二义性,解决方案链接如下。
Linq方法二义性解决方案:
http://blog.csdn.net/qq_27441069/article/details/79586216
七、总结
本文简单的介绍了MongoDB C#驱动对内嵌文档的增删改查操作,笔者水平有限,如有错误请批评指正!