• hadoop Mapreduce组件介绍


    MapReduce原理

      MapRedcue采用‘分而治之’的思想,对大规模数据集的操作,分发给一个主节点下的各个分节点共同完成,然后通过整合各个节点的中间结果,得到最终结果。Mapreduce就是任务的分解,与结果的汇总

    MapReduce任务机器有两个一个是jobTracker,另一个是TaskTracherJobTracker用于调度的工作,TaskTracher用于执行工作,一个hadoop集群只有一个JobTracker

     在分布式计算中,MapReduce框架负责处理了并行编程中分布式存储、工作调度、负载均衡、容错均衡、容错处理以及网络通信等复杂问题,把处理过程高度抽象为两个函数:mapreducemap负责把任务分解成多个任务,reduce负责把分解后多任务处理的结果汇总起来。

    输入--拆分--映射--归并---计算--结果

     

  • 相关阅读:
    # GIT团队实战博客
    # ML学习小笔记—Where does the error come from?
    # Alpha冲刺3
    # Alpha冲刺2
    # Alpha冲刺1
    # ML学习小笔记—Linear Regression
    # 需求分析报告
    # 团队UML设计
    # 团队选题报告
    Alpha 冲刺 (4/10)
  • 原文地址:https://www.cnblogs.com/tsxylhs/p/7262011.html
Copyright © 2020-2023  润新知