• MongoDB进行MapReduce的数据类型


    MongoDB进行MapReduce的数据类型

    有很长一段时间没更新博客了,因为最近都比较忙,今天算是有点空闲吧。本文主要是介绍MapReduce在MongoDB上的使用,它与sql的分组、聚集类似,也是先map分组,再用reduce统计,最后还可选性地使用finalize调整最终结果。好了,来介绍下我所使用版本是MongoDB2.4.5,然后我还使用了MongoVUE(一款非常不错的图形化mongodb管理工具)帮助我协同操作。

      1、原始数据,待使用的Collection中有三条doc:                                  而且它们的数据格式为:

      

      可能很多人并不注意mongodb中存的数据格式吧,但是对于我来说,这个很敏感,我并不喜欢在后台使用object来保存这些本来明确的类型。这里我多提一点,如果是使用控制台插入的数据,你插入的数字,很可能存成了Double,而想存成整型,则必须要用NumberInt()、NumberLong()来,示例:

      

      运行后在控制台上是看不出来数据类型的,但是利用MongoVUE,我可以看到:

      数据库直接存成了double。而使用:

      

      可以让它存成int32,使用NumberLong()可以存成Int64。 

      2、进行MapReduce,实现查找不同名字的人各有多少个的统计。首先是map函数,再调用reduce函数  

    复制代码
    1 function Map() {
    2     emit(
    3         this.name,
    4         {count: 1}
    5     ); 
    6 }
    复制代码

      emit(key,value)是一个分组的函数,表示以指定key对原doc进行分组,value是从doc中取出的数据或者自己录入的数据,它将会被添加到一个集合(暂称C集合)中。MapReduce会对各个doc都进行一次Map函数调用,但你可以决定是否使用emit函数对此doc进行分组,不分组的doc就相当于弃置了。不过我推荐不要在Map函数中添加过滤操作,如if (xxx==yyy)  emit(...,...);,而应该在进行MapReduce前就进行Query过滤掉信息(后面会讲)。在Map函数中可以进行的过滤操作一般也是分类操作,比如成绩高于60的以某种方法emit,低于60的以某种方法emit,而不应该说是高于60的进行emit,否则什么都不做。

    复制代码
    1 function Reduce(key, values) {
    2     var reduced = {count:0, name:""}; // 初始化返回值
    3     values.forEach(function(val) {
    4         reduced.count += val.count; 
    5     });
    6     return reduced;    
    7 }
    复制代码

      接下来是Reduce函数,这个便是根据上面的emit分组数据进行统计了,函数的参数分别是key(它是上面的emit中的key)和values(它就是上面提到的C集合)。MapReduce会对各个分组的key都进行一次Reduce函数调用。函数第一行是对需要的统计结果数据进行初始化,然后就是自己的统计方法了,最后需要返回这个结果。

      好了,看下在DB控制台下怎么调用这个MapReduce:

    复制代码
     1 db.runCommand({ mapreduce: "lekko", 
     2  map : function Map() {
     3     emit(
     4         this.name,
     5         {count: 1}
     6     ); 
     7 },
     8  reduce : function Reduce(key, values) {
     9     var reduced = {count:0, name:""}; // 初始化返回值
    10     values.forEach(function(val) {
    11         reduced.count += val.count; 
    12     });
    13     return reduced;    
    14 },
    15  out : { inline : 1 }
    16 });
    复制代码

      结果很快出来了:,由于我前面又在控制台下添加了两条doc,所以现在lekko名称的人有4个了。值得注意的是,这里在MapReduce之后的结果都将成为double型!

      

      3、一些附加操作

      单纯的MapReduce原理很简单,关键是会灵活使用就好。现在我例出几个我自己的使用心得:

      (1)把Query也放到MapReduce中

      在前面的runCommand中添加参数。例如我要查询所有男生的,就添加..., query : { "isman" : true }, ...。

      (2)对结果进行数据类型转化

      利用Finalize函数(该函数是在Reduce函数后调用,它将对所有key的Reduce结果进行最后的操作),例如我在后台调用了api后想得到的是int型数据,而不是double的,那么就可以添加Finalize函数:

    复制代码
    1 ...,
    2 finalize : function Finalize(key, reduced) {
    3     reduced.count = NumberInt(reduced.count);
    4     return reduced;
    5 },
    6 ...
    复制代码

      这样,输出的reduced将会是int32,在后台你就直接用一个强制转化就行了,而不需要先从object转为double,再转为int(用ToString后再用Prase也不如强制转化)。

      (3)时间类型

      因为mongodb是有Date类型的,但是由于存入的时间格式和查询时间的格式可能不一致(特别是在你的mongodb部署在远程,而开发又是多人协作),会导致根据时间条件,却查不出数据的问题。我的建议,直接存时间的long形态(过去秒数),那么这种差异性问题就不复存在。

      转载请注明原址:http://www.cnblogs.com/lekko/p/3240028.html

     
    分类: DataBase
    标签: DB
    绿色通道: 好文要顶 关注我 收藏该文与我联系 
  • 相关阅读:
    springboot自定义注解
    springboot2.3+mybatis+pageHelper
    免费好用的mysql客户端
    springboot2.3+mybatis-plus+mysql8.0
    b站“视频评论区”抽奖 讲解(含JS源码)
    JS实现b站动态抽奖“公平”方案——动态+转发
    JS实现b站动态转发抽奖(小人数)新方案讲解
    C#爬虫(Selenium和WeiAPI)
    C#时间戳转换
    Quartz.net配置文件出现的坑
  • 原文地址:https://www.cnblogs.com/Leo_wl/p/3249103.html
Copyright © 2020-2023  润新知