搭建与安装hadoop(本地模式和伪分布式)

写在前面

随着开学，不少朋友让我帮他们装hadoop，由于同学的配置不一，基本都没有到配置集群的步骤。所以就在这里记录一下配置本地模式和伪分布式的步骤。

准备

• linux系统的虚拟机一台（centos或者ubuntu都可以，centos建议7以上）
• 安装sftp软件，如mobaxterm等等
• 修改IP为静态IP
• 关闭防火墙
• 配置自己的用户具有root权限
• jdk1.8和hadoop的gz包
• 配置主机名与IP地址的映射

以上内容都可在我的另一篇博客搭建Hadoop集群里找到

开始

我们在/opt目录下创建module和software文件夹

[liuge@hadoop06 opt]$ sudo mkdir module
[liuge@hadoop06 opt]$ sudo mkdir software

修改两个文件夹的所有者：

这里liuge是我自己的用户名，填你们自己的即可。

[liuge@hadoop06 opt]$ sudo chown liuge:liuge module/ software/

安装JDK

查询是否安装Java软件：

[liuge@hadoop06 opt]$ rpm -qa | grep java

如果发现安装了openJdk，用命令删除：

[liuge@hadoop06 opt]$ sudo rpm -e 软件包

卸载干净后，用sftp软件将jdk的包(1.8以上)传到/opt/software下

然后解压到/opt/module下：

[liuge@hadoop06 software]$ tar -zxvf jdk-8u202-linux-x64.tar.gz -C /opt/module/

配置下JDK路径：

[liuge@hadoop06 jdk1.8.0_202]$ pwd
/opt/module/jdk1.8.0_202
sudo vim /etc/profile


#JAVA_HOME
export JAVA_HOME=/opt/module/jdk1.8.0_202
export PATH=$PATH:$JAVA_HOME/bin

[liuge@hadoop06 jdk1.8.0_202]$ source /etc/profile
[liuge@hadoop06 jdk1.8.0_202]# java -version
java version "1.8.0_202"

安装hadoop

将hadoop的包解压出来：

[liuge@hadoop06 software]$ tar -zxvf hadoop-2.7.2.tar.gz -C /opt/module/

然后将hadoop添加到环境变量：

[liuge@hadoop06 hadoop-2.7.2]$ sudo vi /etc/profile

在文件末尾添加：

##HADOOP_HOME
export HADOOP_HOME=/opt/module/hadoop-2.7.2
export PATH=$PATH:$HADOOP_HOME/bin

让修改的文件生效:

[liuge@hadoop06 hadoop-2.7.2]$ source /etc/profile

运行hadoop

本地模式

在目录下创建一个input

[liuge@hadoop06 hadoop-2.7.2]$ mkdir input

拷贝一些文件到input下：

[liuge@hadoop06 hadoop-2.7.2]$ cp etc/hadoop/*.xml input

执行mapreduce程序：

[liuge@hadoop06 hadoop-2.7.2]$ bin/hadoop jar
share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jar grep input output 'dfs[a-z.]+'

查看输出结果：

[liuge@hadoop06 hadoop-2.7.2]$ cat output/*

再跑个wordcount示例：

创建一个wcinput文件夹：

[liuge@hadoop06 hadoop-2.7.2]$ mkdir wcinput

在wcinput文件下创建一个wc.input文件：

[liuge@hadoop06 hadoop-2.7.2]$ cd wcinput
[liuge@hadoop06 wcinput]$ touch wc.input

编辑wc.input文件，输入内容：

[liuge@hadoop06 wcinput]$ vim wc.input

hadoop yarn
hadoop mapreduce
atguigu
atguigu

保存退出即可。

最后退回/opt/module/hadoop-2.7.2目录下，执行wordcount：

[liuge@hadoop06 hadoop-2.7.2]$ hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jar wordcount wcinput wcoutput

查看运行结果：

[liuge@hadoop06 hadoop-2.7.2]$ cat wcoutput/part-r-00000

到这，本地模式运行成功了，也就代表我们的hadoop安装基本成功了。

伪分布式

首先来配置HDFS:

首先找到Jdk的安装目录：

[liuge@hadoop06  ~]# echo $JAVA_HOME

编辑hadoop目录下的配置文件(hadoop-env.sh)：

[liuge@hadoop06  hadoop-2.7.2]$ vim etc/hadoop/hadoop-env.sh

在里面找到JAVA_HOME，写上我们自己的：

export JAVA_HOME=/opt/module/jdk1.8.0_202

再编辑一下核心配置文件(core-site.xml)，添加namenode配置：

<!-- 指定HDFS中NameNode的地址 -->
<property>
<name>fs.defaultFS</name>
    <value>hdfs://hadoop06:9000</value>
</property>

<!-- 指定Hadoop运行时产生文件的存储目录 -->
<property>
	<name>hadoop.tmp.dir</name>
	<value>/opt/module/hadoop-2.7.2/data/tmp</value>
</property>

然后配置一下hdfs-site.xml：

<!-- 指定HDFS副本的数量 -->
<property>
	<name>dfs.replication</name>
	<value>1</value>
</property>

现在我们可以启动集群了。

首先要格式化集群NameNode（不要随便格式化 ！！！这次之后就不要随便格式化了）

[liuge@hadoop06 hadoop-2.7.2]$ bin/hdfs namenode -format

然后我们先启动Namenode:

[liuge@hadoop06 hadoop-2.7.2]$ sbin/hadoop-daemon.sh start namenode

再启动datanode：

[liuge@hadoop06 hadoop-2.7.2]$ sbin/hadoop-daemon.sh start datanode

使用jps命令查看是否启动成功：

[liuge@hadoop06 hadoop-2.7.2]$ jps
13586 NameNode
13668 DataNode
13786 Jpss

在Web端查看(这里我配置了hosts映射所以可以通过名称直接访问)：

http://hadoop06:50070

然后我们通过集群跑一个wordcount:

[liuge@hadoop06 hadoop-2.7.2]$ bin/hdfs dfs -mkdir -p /user/liuge/input
[liuge@hadoop06 hadoop-2.7.2]$bin/hdfs dfs -put wcinput/wc.input
  /user/liuge/input/
[liuge@hadoop06 hadoop-2.7.2]$ bin/hadoop jar
share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jar wordcount /user/liuge/input/ /user/liuge/output

最后可以在WEB端直接查看结果。

之后是配置yarn

编辑一下yarn-env.sh，在里面配置一下JAVA_HOME：

[liuge@hadoop06 hadoop-2.7.2]$ vim etc/hadoop/yarn-env.sh
export JAVA_HOME=/opt/module/jdk1.8.0_202

接下来配置yarn-site.xml：

<!-- Reducer获取数据的方式 -->
<property>
 		<name>yarn.nodemanager.aux-services</name>
 		<value>mapreduce_shuffle</value>
</property>

<!-- 指定YARN的ResourceManager的地址 -->
<property>
<name>yarn.resourcemanager.hostname</name>
<value>hadoop06</value>
</property>

再配置mapred-env.sh：

[liuge@hadoop06 hadoop-2.7.2]$ vim etc/hadoop/mapred-env.sh
export JAVA_HOME=/opt/module/jdk1.8.0_202

将mapred-site.xml.template重命名为mapred-site.xml，然后对其进行配置：

[liuge@hadoop06 hadoop]$ mv mapred-site.xml.template mapred-site.xml
[liuge@hadoop06 hadoop]$ vi mapred-site.xml

<!-- 指定MR运行在YARN上 -->
<property>
		<name>mapreduce.framework.name</name>
		<value>yarn</value>
</property>

然后启动ResourceManager和NodeManager:

[liuge@hadoop06 hadoop-2.7.2]$ sbin/yarn-daemon.sh start resourcemanager
[liuge@hadoop06 hadoop-2.7.2]$ sbin/yarn-daemon.sh start nodemanager

在WEB端查看：

http://hadoop06:8088/cluster

我们删除HDFS上的output文件，然后执行mapreduce程序：

[liuge@hadoop06 hadoop-2.7.2]$ bin/hdfs dfs -rm -R /user/liuge/output
[liuge@hadoop06 hadoop-2.7.2]$ bin/hadoop jar
 share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jar wordcount /user/liuge/input  /user/liuge/output

最后可以在WEB上查看结果。

http://hadoop06:8088

配置历史服务器

之后为了显示程序的历史运行情况，配置一下历史服务器。

配置mapred-site.xml:

<!-- 历史服务器端地址 -->
<property>
<name>mapreduce.jobhistory.address</name>
<value>hadoop06:10020</value>
</property>
<!-- 历史服务器web端地址 -->
<property>
    <name>mapreduce.jobhistory.webapp.address</name>
    <value>hadoop06:19888</value>
</property>

然后启动历史服务器即可：

[liuge@hadoop06 hadoop-2.7.2]$ sbin/mr-jobhistory-daemon.sh start historyserver

在WEB端查看：

http://hadoop06:19888

配置日志的聚集

日志聚集开启后，可以更好的查看运行日志。

我们编辑yarn-site.xml，开启日志聚集功能：

<!-- 日志聚集功能使能 -->
<property>
<name>yarn.log-aggregation-enable</name>
<value>true</value>
</property>

<!-- 日志保留时间设置7天 -->
<property>
<name>yarn.log-aggregation.retain-seconds</name>
<value>604800</value>
</property>

然后重启一下nodemanager，Resourcemanager和HistroyManager。

最后再跑一个wordcount吧：

删除HDFS上已存在的输出文件：

[liuge@hadoop06 hadoop-2.7.2]$ bin/hdfs dfs -rm -R /user/liuge/output

执行wordcount：

[liuge@hadoop06 hadoop-2.7.2]$ hadoop jar
 share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jar wordcount /user/liuge/input /user/liuge/output

最后查看日志：

http://hadoop06:19888/jobhistory

总结

到这里，已经完全配置完了。可以看到配置hadoop需要踏实的linux基础，不然的话本教程是看不懂的。