MongoDb接触过的使用场景,就是海量的日志的存储和查询,最多的时候,从600万数据里搜索,随着现在互联网的蓬勃发展,企业业务量也来越来越大,积累的数据也随之增加,传统的关系型数据库,遇到大数据量的查询,能查询出来没问题,但是给用户带来的体验非常不好,也阻挡了快速定位问题的速度,除了MongoDb,还有全文搜索引擎Elasticsearch ,也挺好用的
------------------------MongoDb的优势和特性
1、事务支持(目前只支持单文档的事务,对复杂的事务场景不支持)
2、灵活的文档模型(JSON格式存储接近真实对象模型,对开发者友好,方便快速迭代)
3、高可用复制集(满足数据高可用、服务高可用的需求,运维简单,故障自动切换)
4、可扩展分片集群(海量数据存储,服务能力水平扩展)
5、高性能(mmapv1、wiredtiger、mongorocks(rocksdb)、in-memory 等多引擎支持满足各种场景需求)
6、Gridfs(解决文件存储的需求)
7、aggregation & mapreduce(解决数据分析场景需求,用户可以自己写查询语句或脚本,将请求都分发到 MongoDB 上完成)
从目前阿里云 MongoDB 云数据库上的用户看,MongoDB 的应用已经渗透到各个领域,比如游戏、物流、电商、内容管理、社交、物联网、视频直播等,
以下是几个实际的应用案例。
游戏场景,使用 MongoDB 存储游戏用户信息,用户的装备、积分等直接以内嵌文档的形式存储,方便查询、更新
物流场景,使用 MongoDB 存储订单信息,订单状态在运送过程中会不断更新,以 MongoDB 内嵌数组的形式来存储,一次查询就能将订单所有的变更
读取出来。
社交场景,使用 MongoDB 存储存储用户信息,以及用户发表的朋友圈信息,通过地理位置索引实现附近的人、地点等功能
物联网场景,使用 MongoDB 存储所有接入的智能设备信息,以及设备汇报的日志信息,并对这些信息进行多维度的分析
视频直播,使用 MongoDB 存储用户信息、礼物信息等
……
如果你还在为是否应该使用 MongoDB,不如来做几个选择题来辅助决策(注:以下内容改编自 MongoDB 公司 TJ 同学的某次公开技术分享)。
应用不需要事物及复杂join支持
新应用,需求会变,数据模型无法确定,想快速迭代开发
应用需要2000-3000的读写QPS(甚至更高也可以)
应用需要TB或者PB级的数据存储
应用发展迅速,需要能快速水平扩展
应用要求存储的数据不丢失
应用需要99.999%的高可用
应用需要大量的地理位置查询和文本查询
如果上述有一个符合,可以考虑MongoDB;如果有两个及以上符合,选择MongoDB绝不会后悔
----------------MongoDB的常见命令
1、MongoDB创建数据库
use DATABASE_NAME 命令来创建数据库。如果指定的数据库DATABASE_NAME不存在,则该命令将创建一个新的数据库,否则返回现有的数据库。
创建的数据库(newdb)不在列表中。要显示数据库,需要至少插入一个collection,空的数据库是不显示出来的。
db.items.insert({"name":"yiibai tutorials"})
show dbs 查看所有的DB
2、MongoDB删除数据库
>use newdb
switched to db newdb
>db.dropDatabase()
>{ "dropped" : "newdb", "ok" : 1 }
3、MongoDB创建集合
没有使用选项的createCollection()方法的基本语法如下
>use test
switched to db test
>db.createCollection("mycollection")
{ "ok" : 1 }
在 MongoDB 中,不需要创建集合。当插入一些文档时,MongoDB 会自动创建集合。
>db.newcollection.insert({"name" : "yiibaitutorials"})
>show collections
mycol
newcollection
mycollection
4、MongoDB删除集合
MongoDB 的 db.collection.drop() 用于从数据库中删除集合。
5、MongoDB数据类型
字符串 - 这是用于存储数据的最常用的数据类型。MongoDB中的字符串必须为UTF-8。
整型 - 此类型用于存储数值。 整数可以是32位或64位,具体取决于服务器。
布尔类型 - 此类型用于存储布尔值(true / false)值。
双精度浮点数 - 此类型用于存储浮点值。
最小/最大键 - 此类型用于将值与最小和最大BSON元素进行比较。
数组 - 此类型用于将数组或列表或多个值存储到一个键中。
时间戳 - ctimestamp,当文档被修改或添加时,可以方便地进行录制。
对象 - 此数据类型用于嵌入式文档。
Null - 此类型用于存储Null值。
符号 - 该数据类型与字符串相同; 但是,通常保留用于使用特定符号类型的语言。
日期 - 此数据类型用于以UNIX时间格式存储当前日期或时间。您可以通过创建日期对象并将日,月,年的日期进行指定自己需要的日期时间。
对象ID - 此数据类型用于存储文档的ID。
二进制数据 - 此数据类型用于存储二进制数据。
代码 - 此数据类型用于将JavaScript代码存储到文档中。
正则表达式 - 此数据类型用于存储正则表达式。
6、MongoDB插入文档
insert()命令的基本语法如下:
>db.COLLECTION_NAME.insert(document)
Shell
示例
>db.mycol.insert({
_id: 100,
title: 'MongoDB Overview',
description: 'MongoDB is no sql database',
by: 'yiibai tutorials',
url: 'http://www.yiibai.com',
tags: ['mongodb', 'database', 'NoSQL'],
likes: 100,
})
要在单个查询中插入多个文档,可以在insert()命令中传递文档数组。如下所示 -
> db.mycol.insert([
{
_id: 101,
title: 'MongoDB Guide',
description: 'MongoDB is no sql database',
by: 'yiibai tutorials',
url: 'http://www.yiibai.com',
tags: ['mongodb', 'database', 'NoSQL'],
likes: 100
},
{
_id: 102,
title: 'NoSQL Database',
description: "NoSQL database doesn't have tables",
by: 'yiibai tutorials',
url: 'http://www.yiibai.com',
tags: ['mongodb', 'database', 'NoSQL'],
likes: 210,
comments: [
{
user:'user1',
message: 'My first comment',
dateCreated: new Date(2017,11,10,2,35),
like: 0
}
]
},
{
_id: 104,
title: 'Python Quick Guide',
description: "Python Quick start ",
by: 'yiibai tutorials',
url: 'http://www.yiibai.com',
tags: ['Python', 'database', 'NoSQL'],
likes: 30,
comments: [
{
user:'user1',
message: 'My first comment',
dateCreated: new Date(2018,11,10,2,35),
like: 590
}
]
}
])
db.collection.insertOne()方法
db.collection.insertOne()方法将单个文档插入到集合中。以下示例将新文档插入到库存集合中。
db.collection.insertOne()方法返回包含新插入的文档的`_id```字段值的文档。
执行结果如下 -
> db.inventory.insertOne(
... { item: "canvas", qty: 100, tags: ["cotton"], size: { h: 28, w: 35.5, uom: "cm" } }
... )
{
"acknowledged" : true,
"insertedId" : ObjectId("5955220846be576f199feb55")
}
>
如果文档没有指定_id字段,MongoDB会自动将_id字段与ObjectId值添加到新文档。
db.collection.insertMany()方法db.collection.insertMany()方法将多个文档插入到集合中,可将一系列文档传递给db.collection.insertMany()方法。
以下示例将三个新文档插入到库存集合中。如果文档没有指定_id字段,MongoDB会向每个文档添加一个ObjectId值的_id字段。
insertMany()返回包含新插入的文档_id字段值的文档。执行结果如下 -
> db.inventory.insertMany([
... { item: "journal", qty: 25, tags: ["blank", "red"], size: { h: 14, w: 21, uom: "cm" } },
... { item: "mat", qty: 85, tags: ["gray"], size: { h: 27.9, w: 35.5, uom: "cm" } },
... { item: "mousepad", qty: 25, tags: ["gel", "blue"], size: { h: 19, w: 22.85, uom: "cm" } }
... ])
{
"acknowledged" : true,
"insertedIds" : [
ObjectId("59552c1c46be576f199feb56"),
ObjectId("59552c1c46be576f199feb57"),
ObjectId("59552c1c46be576f199feb58")
]
}
>
7、MongoDB查询文档
find()方法:find()方法将以【非结构化】的方式显示所有文档。
>db.COLLECTION_NAME.find(document)
pretty()方法:要以【格式化】的方式显示结果,可以使用pretty()方法。
>db.mycol.find().pretty()
{
"_id": 100,
"title": "MongoDB Overview",
"description": "MongoDB is no sql database",
"by": "yiibai tutorials",
"url": "http://www.yiibai.com",
"tags": ["mongodb", "database", "NoSQL"],
"likes": "100"
}
>
MongoDB 与 RDBMS的等效 Where 子句要在一些条件的基础上查询文档,可以使用以下操作。
操作 语法 示例 RDBMS等效语句
相等 {<key>:<value>} db.mycol.find({"by":"yiibai"}).pretty() where by = 'yiibai'
小于 {<key>:{$lt:<value>}} db.mycol.find({"likes":{$lt:50}}).pretty() where likes < 50
小于等于 {<key>:{$lte:<value>}} db.mycol.find({"likes":{$lte:50}}).pretty() where likes <= 50
大于 {<key>:{$gt:<value>}} db.mycol.find({"likes":{$gt:50}}).pretty() where likes > 50
大于等于 {<key>:{$gte:<value>}} db.mycol.find({"likes":{$gte:50}}).pretty() where likes >= 50
不等于 {<key>:{$ne:<value>}} db.mycol.find({"likes":{$ne:50}}).pretty() where likes != 50
MongoDB中的AND操作符
>db.mycol.find(
{
$and: [
{key1: value1}, {key2:value2}
]
}
).pretty()
> db.mycol.find({$and:[{"by":"yiibai tutorials"},{"title": "MongoDB Overview"}]}).pretty()
{
"_id" : 100,
"title" : "MongoDB Overview",
"description" : "MongoDB is no sql database",
"by" : "yiibai tutorials",
"url" : "http://www.yiibai.com",
"tags" : [
"mongodb",
"database",
"NoSQL"
],
"likes" : 100
}
>
对于上面给出的例子,等效的SQL where子句是 -
SELECT * FROM mycol where by ='yiibai tutorials' AND title ='MongoDB Overview'
MongoDB中的OR操作符语法
在要根据OR条件查询文档,需要使用$or关键字。 以下是OR条件的基本语法 -
>db.mycol.find(
{
$or: [
{key1: value1}, {key2:value2}
]
}
).pretty()
示例
以下示例将显示由“yiibai tutorials”编写或标题为“MongoDB Overview”的所有教程。
>db.mycol.find({$or:[{"by":"yiibai tutorials"},{"title": "MongoDB Overview"}]}).pretty()
{
"_id": 100,
"title": "MongoDB Overview",
"description": "MongoDB is no sql database",
"by": "yiibai tutorials",
"url": "http://www.yiibai.com",
"tags": ["mongodb", "database", "NoSQL"],
"likes": "100"
}
>
使用 AND 和 OR 条件一起
SELECT * FROM mycol where likes> 10 AND(by ='yiibai tutorials' OR title ='MongoDB Overview')
>db.mycol.find({"likes": {$gt:10}, $or: [{"by": "yiibai tutorials"},
{"title": "MongoDB Overview"}]}).pretty()
{
"_id": 100,
"title": "MongoDB Overview",
"description": "MongoDB is no sql database",
"by": "yiibai tutorials",
"url": "http://www.yiibai.com",
"tags": ["mongodb", "database", "NoSQL"],
"likes": "100"
}
>
8、MongoDB更新文档
默认情况下,MongoDB只会更新一个文档。要更新多个文档,需要将参数’multi‘设置为true。
>db.mycol.update({'title':'MongoDB Overview'},
{$set:{'title':'New Update MongoDB Overview'}},{multi:true})
9、MongoDB删除文档
>db.COLLECTION_NAME.remove(DELLETION_CRITTERIA)
10.MongoDB投影(选择字段)
find()方法MongoDB的find()方法,在 MongoDB 查询文档中此方法接收的第二个可选参数是要检索的字段列表。 在MongoDB中,当执行find()方法时,它默认将显示文档的所有字段。
为了限制显示的字段,需要将字段列表对应的值设置为1或0。【1用于显示字段,而0用于隐藏字段。】
具有投影的find()方法的基本语法如下:
语法
>db.COLLECTION_NAME.find({},{KEY:1})
> db.mycol.find({}, {'title':1,'_id':0})
11、MongoDB限制记录数
db.COLLECTION_NAME.find().limit(NUMBER)
12、MongoDB排序记录
MongoDB sort()方法要在MongoDB中排序文档,需要使用sort()方法。 该方法接受包含字段列表及其排序顺序的文档。使用指定排序顺序1和-1。 【1用于升序,而-1用于降序。】
语法
sort()方法的基本语法如下 -
>db.COLLECTION_NAME.find().sort({KEY:1})
13、MongoDB索引
ensureIndex()方法要创建索引,需要使用MongoDB的ensureIndex()方法。
语法
ensureIndex()方法的基本语法如下 -
>db.COLLECTION_NAME.ensureIndex({KEY:1})
Shell
这里的key是要在其上创建索引的字段的名称,1是升序。 要按降序创建索引,需要使用-1。
示例
>db.mycol.ensureIndex({"title":1})
Shell
在ensureIndex()方法中,可以传递多个字段,以在多个字段上创建索引。
>db.mycol.ensureIndex({"title":1,"description":-1})
>
14、MongoDB聚合
select by_user, count(*) as num_tutorial from `article` group by by_user;
表达式 描述 示例
$sum 从集合中的所有文档中求出定义的值。 db.mycol.aggregate([{$group : {_id : "$by_user", num_tutorial : {$sum : "$likes"}}}])
$avg 计算集合中所有文档的所有给定值的平均值。 db.mycol.aggregate([{$group : {_id : "$by_user", num_tutorial : {$avg : "$likes"}}}])
$min 从集合中的所有文档获取相应值的最小值。 db.mycol.aggregate([{$group : {_id : "$by_user", num_tutorial : {$min : "$likes"}}}])
$max 从集合中的所有文档获取相应值的最大值。 db.mycol.aggregate([{$group : {_id : "$by_user", num_tutorial : {$max : "$likes"}}}])
$push 将值插入到生成的文档中的数组中。 db.mycol.aggregate([{$group : {_id : "$by_user", url : {$push: "$url"}}}])
$addToSet 将值插入生成的文档中的数组,但不会创建重复项。 db.mycol.aggregate([{$group : {_id : "$by_user", url : {$addToSet : "$url"}}}])
$first 根据分组从源文档获取第一个文档。 db.mycol.aggregate([{$group : {_id : "$by_user", first_url : {$first : "$url"}}}])
$last 根据分组从源文档获取最后一个文档。 db.mycol.aggregate([{$group : {_id : "$by_user", last_url : {$last : "$url"}}}])
15、MongoDB复制
保持数据安全
数据的高可用性(24 * 7)
灾难恢复维护无停机(如备份,索引重建,压缩)
读取缩放(额外的副本可读)
副本集对应用程序是透明的
16、MongoDB分片
在复制中,所有写入都转到主节点
延迟敏感查询到主节点
单个副本集合有12个节点的限制当活动数据集较大时,内存不足够大
本地磁盘不够大
垂直扩缩太昂贵了
17、MongoDB备份与恢复
要在MongoDB中创建数据库备份,应该使用 mongodump 命令。 此命令将导出转储服务器的整个数据到转储目录。有许多选项可用于限制数据量或创建远程服务器的备份。
语法
mongodump命令的基本语法如下:
> mongodump
恢复数据要恢复备份数据,使用MongoDB的 mongorestore 命令。 此命令从备份目录中恢复所有数据。
语法
mongorestore命令的基本语法是 -
> mongorestore
18、MongoDB部署
mongostat
此命令检查所有运行的mongod实例的状态,并返回数据库操作的计数器。 这些计数器包括插入,查询,更新,删除和游标。
命令还显示遇到页面错误,并显示锁定百分比。这可以用来监控内存不足,写入容量或出现性能问题。
要运行命令,首先要启动mongod实例。 在另一个命令提示符下,转到 mongodb 安装的bin目录,然后键入:mongostat。
D:Program FilesMongoDBServer3.4in> mongostat
mongotop
此命令跟踪并报告基于集合的 MongoDB 实例的读写活动。 默认情况下,mongotop会在每秒钟内返回信息,但是可相应地更改信息。
应该检查此读写活动是否符合您的应用意图,并且要一次对数据库发出太多的写入操作,从磁盘读取的频率太高,或者超出了工作集合大小。
要运行命令,请启动 mongod 实例。 在另一个命令提示符下,转到 mongodb 安装的bin目录,然后键入:mongotop。
D:Program FilesMongoDBServer3.4in> mongotop