从研究生入学到现在,快一年的时间了。和很多人一样,我迷茫着,一直没想明白自己想要干什么。年轻的时候真的想和所有人不一样,直到最后选择了大数据方向,更多的也是感觉。青春的魅力在于可能性。没有过多的犹豫纠结,专心练剑才是王道。
刚开始学习Hadoop,用的最多的是apache的官方网站,www.apache.org。可以从主页的DownLoad里下载apache的软件,在下方的Apahce Project List里可以找到软件的详细信息,我主要用到的是Hadoop的文档。
Overview: 介绍了hadoop的主要改进。
Single Node Setup:介绍了最简单的Hadoop的使用,这种模式不使用HDFS,只访问本地文件。
单节点模式需要的软件:jdk和hadoop
版本信息:Hadoop-2.5.2;jdk1.7.0_79
安装位置:/home/hadoop/jdk1.7.0_79;
/home/hadoop/hadoop-2.5.2
配置信息:home/hadoop/hadoop-2.5.2/etc/hadoop/hadoop-env.sh(修改之前先备份,养成习惯)
export JAVA_HOME=/home/hadoop/jdk1.7.0_79
export HADOOP_PREFIX=/home/hadoop/hadoop-2.5.2
到这里,单击模式的Hadoop就完成了。
Try the following command:
$ bin/hadoop
正常情况下,会出现Usage信息
测试:Standalone Operation
$ mkdir input
$ cp etc/hadoop/*.xml input
$ bin/hadoop jar share/hadoop/mapreduce//hadoop-mapreduce-examples-2.5.2.jar grep input output 'dfs[a-z.]+'
$ cat output/*
结果为:1 dfsadmin
可能会出现错误信息,如:无法加载主类,org.apace....Runjar
我第一次实验的时候出现这个问题,没有解决。最后之后,清理空间,重新安装才成功。