• Hadoop的wordcount代码实现


    1.打开hadoop的目录,接下来都是在下面目录下操作

    cd /usr/local/hadoop/hadoop-2.5.2   //hadoop安装目录

    2.启动hadoop

    ./sbin/start-all.sh

    3.hadoop文件暂存目录

    /home/amelie/Hadoop_file

    4.将以上目录的文件存入hdfs下

    hadoop fs -mkdir /data/input  //在hdfs中创建文件夹
    hadoop fs -put /home/amelie/Hadoop_file/XXX.txt /data/input   //将以上文件夹中XXX.txt放到hdfs中的/data/input

    5.查看hdfs存入在/data/input下的文件数目及名称

    hadoop fs -ls /data/input

    6.查看文件内容

    hadoop fs -cat /data/input/XXX.txt

    7.hadoop自带wordcount的地址(hadoop根目录下)

    ./share/hadoop/mapreduce/hadoop-mapreduce-examples-2.5.2.jar

    8.执行.jar文件 输出在/data/output1(新的文件夹)

    hadoop jar /usr/local/hadoop/hadoop-2.5.2/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.5.2.jar wordcount /data/input /data/output1

    总结起来就是hadoop jar [xxx.jar] class-name [input] [output]

    9.查看输出结果的目录,结果输出两个_SUCCESS和part-r-00000

    hadoop fs -ls /data/output1

    10.查看输出结果

    hadoop fs -cat /data/output1/part--r-00000

     本文参考的例子

  • 相关阅读:
    测试用例的设计
    测试经理的职责
    如果开发认为这不是bug,对QA来说应该怎么处理?
    我选择测试的过程
    API的知识点
    测试人员需要的技能
    时区转换的计算方式
    学习能力的必需
    制图工具
    JSON序列和反序列1
  • 原文地址:https://www.cnblogs.com/amelie-tingting/p/6393971.html
Copyright © 2020-2023  润新知