• 015 在大数据中,关于mapreduce的粗略优化,以及mapreduce的处理过程解释


    使用的案例是wordcountmapreduce的程序演示

    一:

    1.源程序

       

       

       

       

    2.优化的切入点

      

      

    3.优化的部分代码

      

      

      

    二:wordcount的处理过程

    1.重点

      一个块对应一个map任务。

          而做单词统计的文件被分成许多分片,一个分片对应一个块,但是每个文件都比较小,所以造成了一个文件就是一个块。

      所以,一个文件就是一个任务。

       

    2.偏移量的解释

      

    3.reducer的处理

      注意到排序后的样子,什么时(1,1),什么时(2).

      

      

  • 相关阅读:
    实验四
    密码破解技术
    222
    111
    6
    5
    4
    第三次
    第二次
    第一次
  • 原文地址:https://www.cnblogs.com/juncaoit/p/5976323.html
Copyright © 2020-2023  润新知