• Hadoop学习之路一 Single Node Setup


      从研究生入学到现在,快一年的时间了。和很多人一样,我迷茫着,一直没想明白自己想要干什么。年轻的时候真的想和所有人不一样,直到最后选择了大数据方向,更多的也是感觉。青春的魅力在于可能性。没有过多的犹豫纠结,专心练剑才是王道。

      刚开始学习Hadoop,用的最多的是apache的官方网站,www.apache.org。可以从主页的DownLoad里下载apache的软件,在下方的Apahce Project List里可以找到软件的详细信息,我主要用到的是Hadoop的文档。

    Overview: 介绍了hadoop的主要改进。
    Single Node Setup:介绍了最简单的Hadoop的使用,这种模式不使用HDFS,只访问本地文件。

    单节点模式需要的软件:jdk和hadoop

    版本信息:Hadoop-2.5.2;jdk1.7.0_79

    安装位置:/home/hadoop/jdk1.7.0_79;

         /home/hadoop/hadoop-2.5.2

    配置信息:home/hadoop/hadoop-2.5.2/etc/hadoop/hadoop-env.sh(修改之前先备份,养成习惯)

             export JAVA_HOME=/home/hadoop/jdk1.7.0_79

           export HADOOP_PREFIX=/home/hadoop/hadoop-2.5.2

    到这里,单击模式的Hadoop就完成了。

    Try the following command:

      $ bin/hadoop

    正常情况下,会出现Usage信息

    测试:Standalone Operation

      $ mkdir input

      $ cp etc/hadoop/*.xml input

      $ bin/hadoop jar share/hadoop/mapreduce//hadoop-mapreduce-examples-2.5.2.jar grep input output 'dfs[a-z.]+'

      $ cat output/*

    结果为:1    dfsadmin

    可能会出现错误信息,如:无法加载主类,org.apace....Runjar

    我第一次实验的时候出现这个问题,没有解决。最后之后,清理空间,重新安装才成功。

  • 相关阅读:
    http协议学习系列
    git常用命令大全
    git常用命令与常见面试题总结
    MyBatis框架及原理分析
    Mybatis常见面试题总结
    java实现克隆的三种(很最全面)
    java中equals和==之间的区别?clone方法的作用,及其为什么要使用clone方法?如何使用clone复制对象?以及深克隆浅克隆
    ThreadLocal的简单使用及实现的原理
    Java 最常见的 208 道面试题
    TCP流量控制
  • 原文地址:https://www.cnblogs.com/fuchao1992/p/4554717.html
Copyright © 2020-2023  润新知