• Hadoop学习之路一 Single Node Setup


      从研究生入学到现在,快一年的时间了。和很多人一样,我迷茫着,一直没想明白自己想要干什么。年轻的时候真的想和所有人不一样,直到最后选择了大数据方向,更多的也是感觉。青春的魅力在于可能性。没有过多的犹豫纠结,专心练剑才是王道。

      刚开始学习Hadoop,用的最多的是apache的官方网站,www.apache.org。可以从主页的DownLoad里下载apache的软件,在下方的Apahce Project List里可以找到软件的详细信息,我主要用到的是Hadoop的文档。

    Overview: 介绍了hadoop的主要改进。
    Single Node Setup:介绍了最简单的Hadoop的使用,这种模式不使用HDFS,只访问本地文件。

    单节点模式需要的软件:jdk和hadoop

    版本信息:Hadoop-2.5.2;jdk1.7.0_79

    安装位置:/home/hadoop/jdk1.7.0_79;

         /home/hadoop/hadoop-2.5.2

    配置信息:home/hadoop/hadoop-2.5.2/etc/hadoop/hadoop-env.sh(修改之前先备份,养成习惯)

             export JAVA_HOME=/home/hadoop/jdk1.7.0_79

           export HADOOP_PREFIX=/home/hadoop/hadoop-2.5.2

    到这里,单击模式的Hadoop就完成了。

    Try the following command:

      $ bin/hadoop

    正常情况下,会出现Usage信息

    测试:Standalone Operation

      $ mkdir input

      $ cp etc/hadoop/*.xml input

      $ bin/hadoop jar share/hadoop/mapreduce//hadoop-mapreduce-examples-2.5.2.jar grep input output 'dfs[a-z.]+'

      $ cat output/*

    结果为:1    dfsadmin

    可能会出现错误信息,如:无法加载主类,org.apace....Runjar

    我第一次实验的时候出现这个问题,没有解决。最后之后,清理空间,重新安装才成功。

  • 相关阅读:
    C语言复习---杨辉三角打印
    C语言复习---获取矩阵的对角和
    C语言复习---选择法排序
    C语言复习---用筛选法求100之内的素数
    C语言复习---比赛问题
    C语言复习---打印菱形
    建立一个node.js服务器(使用express搭建第一个Web环境)
    nodejs小问题:express不是内部或外部命令
    使用express搭建第一个Web应用【Node.js初学】
    Node.js 相关资料网站汇总
  • 原文地址:https://www.cnblogs.com/fuchao1992/p/4554717.html
Copyright © 2020-2023  润新知