ubuntu14.04搭建Hadoop2.9.0伪分布式环境

本文主要参考 给力星的博文——Hadoop安装教程_单机/伪分布式配置_Hadoop2.6.0/Ubuntu14.04

一些准备工作的基本步骤和步骤具体说明本文不再列出，文章中提到的“见参考”均指以上这篇博文，如有其他参考，会另外给出链接

一、创建Hadoop用户

见参考

二、更新apt

见参考

三、安装配置SSH

见参考

四、搭建Java环境

本人采用的是通过ppa源安装的方式，具体操作见：http://www.cnblogs.com/a2211009/p/4265225.html

采用这种方式时可能会出现错误error processing package oracle-java8-installer

解决方法见本人另一篇博文：http://www.cnblogs.com/VeryGoodVeryGood/p/8318105.html

通过ppa安装jdk时，会自动配置5个环境变量，包括JAVA_HOME，关于这5个环境变量的说明，详见博文：Ubuntu安装Oracle Java8以及环境变量的正确设置方法

再在~/.bashrc中添加如下环境变量

export JRE_HOME=$J2REDIR
export CLASSPATH=$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH

让以上环境变量生效

$ source ~/.bashrc

五、安装 Hadoop

见参考

在~/.bashrc中添加如下环境变量

export HADOOP_HOME=/usr/local/hadoop
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH

让以上环境变量生效

$ source ~/.bashrc

六、配置Hadoop伪分布式

我下载的是2.9.0版本，配置文件在目录/usr/local/hadoop/etc/hadoop/下

hadoop-env.sh

#export JAVA_HOME=${JAVA_HOME}
#将上面的行注释掉，用下面的行替代：
export JAVA_HOME=/usr/lib/jvm/java-8-oracle
#这样做是避免，Hadoop配置文件中读不到$JAVA_HOME而报错

core-site.xml，详细说明见：http://hadoop.apache.org/docs/r2.9.0/hadoop-project-dist/hadoop-common/core-default.xml

<configuration>
        <property>
                <name>hadoop.tmp.dir</name>
                <value>file:/usr/local/hadoop/tmp</value>
                <description>Hadoop重要临时文件存放目录</description>
        </property>
        <property>
                <name>fs.defaultFS</name>
                <value>hdfs://localhost:9000</value>
                <description>一种方案和权限决定文件系统实现的URI</description>
        </property>
</configuration>

hdfs-site.xml，详细说明见：http://hadoop.apache.org/docs/r2.9.0/hadoop-project-dist/hadoop-hdfs/hdfs-default.xml

<configuration>
        <property>
                <name>dfs.replication</name>
                <value>1</value>
                <description>复制的块的数量</description>
        </property>
        <property>
                <name>dfs.namenode.name.dir</name>
                <value>file:/usr/local/hadoop/tmp/dfs/name</value>
                <description>DFS管理节点的本地存储路径</description>
        </property>
        <property>
                <name>dfs.datanode.data.dir</name>
                <value>file:/usr/local/hadoop/tmp/dfs/data</value>
                <description>DFS数据节点的本地存储路径</description>
        </property>
</configuration>

mapred-site.xml，详细说明见：http://hadoop.apache.org/docs/r2.9.0/hadoop-mapreduce-client/hadoop-mapreduce-client-core/mapred-default.xml

先重命名

$ mv mapred-site.xml.template mapred-site.xml

再配置

<configuration>
        <property>
                <name>mapreduce.framework.name</name>
                <value>yarn</value>
                <description>执行MapReduce作业时运行的框架</description>
        </property>
</configuration>

yarn-site.xml，详细说明见：http://hadoop.apache.org/docs/r2.9.0/hadoop-yarn/hadoop-yarn-common/yarn-default.xml

<configuration>
        <property>
                <name>yarn.nodemanager.aux-services</name>
                <value>mapreduce_shuffle</value>
                <description>NodeManager的辅助服务</description>
        </property>
</configuration>

七、启动和关闭Hadoop

0. 格式化NameNode（更改配置后才执行这一步）

hdfs namenode -format

下面步骤中运行的脚本均在目录/usr/local/hadoop/sbin/中，因为在环境变量PATH里增加了该路径，所以在运行时不必指定脚本路径

1. 开启NameNode和DataNode守护进程

$ start-dfs.sh

2. 启动YARN

$ start-yarn.sh

3. 判断是否成功启动

$ jps

若成功启动会看见6个进程，分别是：Jps、DataNode、NameNode、SecondaryNameNode、NodeManager、ResourceManager

若未配置YARN，则会看见4个进程，分别是：Jps、DataNode、NameNode、SecondaryNameNode

成功启动后，可以访问Web界面http://localhost:50070/查看NameNode和DataNode的信息以及在线查看HDFS中的文件

4. 关闭Hadoop

$ stop-dfs.sh
$ stop-yarn.sh

第1、2步替代

$ start-all.sh

第4步替代

$ stop-all.sh

八、伪分布式实例

1. 在HDFS中创建用户目录

$ hdfs dfs -mkdir -p /user/hadoop

2. 创建input目录

$ hdfs dfs -mkdir input

3. 将本地文件复制到input里

$ hdfs dfs -put ./etc/hadoop/*.xml input

4. 查看文件列表

$ hdfs dfs -ls input

5. 操作

$ hdfs dfs -rm -r output #Hadoop运行程序时，输出目录不能存在，否则会提示错误
$ hadoop jar ./share/hadoop/mapreduce/hadoop-mapreduce-examples-*.jar grep input output 'dfs[a-z.]+'

6. 查看运行结果

$ hdfs dfs -cat output/*

7. 将运行结果取回本地

$ rm -r ./output #先删除本地output目录
$ hdfs dfs -get output ./output
$ cat ./output/*

8. 删除output目录

$ hdfs dfs -rm -r output
$ rm -r ./output

以上