• MapReduce程序


    1、Demo:WordCount单词计数
    /root/training/hadoop-2.7.3/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.3.jar

    	 执行:
    	 hadoop jar hadoop-mapreduce-examples-2.7.3.jar wordcount /input/data.txt /output/mr/wc1213
    
         分析WordCount程序数据处理的过程(非常重要)
    

    2、开发自己的WordCount程序
    开发一个MapReduce:求每个部门的工资总额

    3、MapReduce的一些高级特性
    (1)序列化:类似Java的序列化
    (2)排序:默认排序:数字 升序
    字符串 字典顺序
    对象的排序:按照员工的薪水排序

    (3)分区:Partition,默认情况下,MapReduce只有一个分区,意思是:只有一个输出文件
    (4)合并:Combiner,在Mapper端,先做一次Reducer,用于减少输出到Reducer中的数据,从而提高效率
    (5)MapReduce的核心:Shuffle(洗牌)
  • 相关阅读:
    HGE tutorial04
    HGE tutorial03
    HGE tutorial02 plus
    HGE tutorial02
    C 语言实例
    C 语言实例
    C 语言实例
    C 语言实例
    C 语言实例
    C 语言实例
  • 原文地址:https://www.cnblogs.com/notes-study/p/8435718.html
Copyright © 2020-2023  润新知