• mongodb 对数据去重后再进行统计 group


    mongodb 对数据去重后再进行统计

    2018年12月27日 18:54:57 chenwch 阅读数 1353

     版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/heihu_malice7/article/details/85298322

    自身是mongo小白,对此问题,浏览好多博客文档,都没有找到太好的答案,汇总一下:

    distinct 只是去重,并不会统计,返回的是列表,如下

    db.clct.distinct("a");

    返回:

    "1",
    "14",
    "15",
    "16",
    "18"

    如果需要进行分组统计,可以用$group

    
     
    1. db.clct.aggregate([

    2.   {$group:{_id:"$a",count:{$sum:1}}}

    3. ]);

    返回:

    
     
    1. { "_id" : "56", "count" : 12 }

    2. { "_id" : "53", "count" : 386 }

    3. { "_id" : "55", "count" : 547946 }

    4. { "_id" : "52", "count" : 4979002 }

    5. { "_id" : "180857", "count" : 54232 }

    6. { "_id" : "51", "count" : 1989388 }

    7. { "_id" : "50", "count" : 263998 }

    说回原题,在数据量比较小的情况下,可以用以下方式进行去重后统计,如下
     

    1. db.clct.aggregate([

    2. {$match: {actid:"99"}},

    3. {$group: {_id: "$a"}},

    4. {$group: {_id: 1, count: {$sum: 1}}}

    5. ])

    原理是,先使用第一个分组对指定键上的所有值去重,然后使用第二个分组统计这些值。

    但是数据量较大的话,就会报Exceeded memory limit for $group, but didn't allow external sort. Pass allowDiskUse:true to opt in.错,大体意思是超出内存限制。

    目前还没有找到针对数据量较大的情况下的办法,有好心的可以提供一下解决办法,多谢!!!!

  • 相关阅读:
    创建Android项目时出错——No resource found that matches the given name 'Theme.AppCompat.Light'
    Java、Android 开发环境搭建
    tomcat7的安装与配置、及Servlet部署
    让实体对象自行决定留存操作类型(增删改)
    聚合体
    PowerDesigner15中定义varbinary(max)列
    Pig limit用法举例
    Pig join用法举例
    Pig distinct用法举例
    Pig group用法举例
  • 原文地址:https://www.cnblogs.com/grj001/p/12224562.html
Copyright © 2020-2023  润新知