mongo-aggregate命令详解

一、aggregate执行流程和特性　

　　　1、执行流程：

　　　db.collection.aggregate()是基于数据处理的聚合管道，每个文档通过一个由多个阶段（stage）组成的管道，可以对每个阶段的管道进行分组、过滤等功能，然后经过一系列的处理，输出相应的结果；

下图来自官方文档截图，作为aggregate运行过程图，方便大家了解;

　　

　　2、特性：

　　　　　　db.collection.aggregate();

1. 1. 可以进行多管道操作，能方便进行数据处理；
   2. 使用了mongodb内置的原生sql操作，聚合效率非常高，支持类似于mysql中的group by功能；
   3. 每个阶段管道限制为100MB的内存。如果一个节点管道超过这个极限,MongoDB将产生一个错误。为了能够在处理大型数据集,可以设置allowDiskUse为true来在聚合管道节点把数据写入临时文件。这样就可以解决100MB的内存的限制；
   4. 可以作用在分片集合，但结果不能输在分片集合，MapReduce可以 作用在分片集合，结果也可以输在分片集合
   5. 方法可以返回一个指针（cursor），数据放在内存中，直接操作。跟Mongo shell 一样指针操作；
   6. 输出的结果只能保存在一个文档中，BSON Document大小限制为16M。可以通过返回指针解决，版本2.6中后面：DB.collect.aggregate()方法返回一个指针，可以返回任何结果集的大小；　　　　　　

　二、aggregate语法： db.collection.aggregate(pipeline, options)

　　　　[pipeline参数]

　　　　$group : 将集合中的文档分组，可用于统计结果，$group首先将数据根据key进行分组；

　　　　$project：可以对输入文档进行添加新字段或删除现有的字段，可以自定哪些字段显示与不显示;

　　　　$match ：根据条件用于过滤数据，只输出符合条件的文档，如果放在pipeline前面，根据条件过滤数据，传输到下一个阶段管道，可以提高后续的数据处理效率。还可以放在out之前，对结果进行再一次过滤;

　　　　$redact ：字段所处的document结构的级别;

　　　　$limit ：用来限制MongoDB聚合管道返回的文档数;

　　　　$skip :在聚合管道中跳过指定数量的文档，并返回余下的文档;

　　　　$unwind :将文档中的某一个数组类型字段拆分成多条，每条包含数组中的一个值;

　　　　$sample :随机选择从其输入指定数量的文档。如果是大于或等于5%的collection的文档，$sample进行收集扫描，进行排序，然后选择顶部的文件。因此，$sample 在收集阶段是受排序的内存限制 语法：{ $sample: { size: <positive integer> } }

　　　　$sort :将输入文档排序后输出；

　　　　$geoNear:用于地理位置数据分析；

　　　　$out :必须为pipeline最后一个阶段管道，因为是将最后计算结果写入到指定的collection中；

         　$indexStats :返回数据集合的每个索引的使用情况；语法：{ $indexStats: { } }

　　　　

　　　　　　　　　　　　　　　　　　　　　　　　　[pipeline例子]

　　　　　　　　　　　　　　　　　　　　插入test数据（红色区域表示插入成功）

[$group] 

_id 是要进行分组的key，如果_id为null  相当于select  count(*) from table;

$sum:

统计test_order表条数 ==  'select count(*) as count from test_order';

统计test_order表 order_price总和  == 'select sum(order_price) as total_order_price from test_order';

统计test_order表不同订单的order_price总和 == 'select sum(order_price) as total_order_price from test_order group by order_type';

$min、$max :

统计test_order表中order_price最大价格和最小价格，不同订单的最大值和最小值 == 'select max(order_price) as order_type_max_price from test_order group by order_type';

$avg

统计test_order表中order_price平均价格 和不同订单的平均价格 == 'select avg(order_price) as order_type_avg_price from test_order group by order_type';

$push、$addToSet

列举出test_order表中不同类型的订单价格 数据都不要超出16M

$first、$last 

统计test_order表中不同订单的第一条和最后一条的订单价格(如果有排序则按照排序，如果没有取自然first和last)

 [$project]

 根据需求去除test_order不需要展示的字段

 

[$match]

查询不同订单售卖的总价格，其中总价格大于100的== 'select sum(order_price) as order_type_sum_price from test_order group by order_price having order_type_sum_price > 100';

 查询order_type=3的总价 = 'select sum(order_price) as total_price' from test_order where order_type = 3';

[$limit、$skip]

查询限制条数，和跳过条数可以使用在阶段管道用在$group 之前可以大大的提高查询性能

[$unwind]

可以拆分数组类型字段，其中包含数组字段值

 [$out]

是把执行的结果写入指定数据表中

  

　　　　　　　　　　　　　　　　　　　　　　　　　[options例子] 

explain:返回指定aggregate各个阶段管道的执行计划信息