Centos 7下Hadoop分布式集群搭建

 

 

一、关闭防火墙（直接用root用户）

#关闭防火墙

sudo systemctl stop firewalld.service

#关闭开机启动

sudo systemctl disable firewalld.service

二、修改每台主机的Hostname(三台主机都一样）

vim /etc/hosts 

注释原有的内容，加入如下内容，ip地址为你自己的虚拟机的IP地址：

more /etc/hosts查看是否正确，需要重启后方能生效。重启命令reboot now

more /etc/hosts

reboot now

三、免密登陆

 1.给3个机器生成密钥文件

由于Namenode会执行一系列脚本去控制Datanode，因此需要设置SSH免密钥登录，省去输入密码的麻烦。

ssh-keygen  -t   rsa   -P  ''

2.生成SSH KEY并将其拷贝到各个节点主机上

依次执行如下命令：

ssh-keygen 
ssh-copy-id Master-huyaqiong #免密钥登录本机 
ssh-copy-id Slave1-huyaqiong
ssh-copy-id Slave2-huyaqiong

3．进行免密码登陆测试

四、安装JDK

1.下载JDK，

我下载的版本为：jdk-8u191-linux-x64.rpm

2.安装

rpm -ivh jdk-8u191-linux-x64.rpm

3.配置环境变量

export JAVA_HOME=/usr/java/default 
export PATH=$PATH:$JAVA_HOME/bin 
export CLASSPATH=.:$JAVA_HOME/jre/lib:$JAVA_HOME/lib:$JAVA_HOME/lib/tools.jar

4．使环境变量生效

执行如下命令：

source /etc/profile

5.选择正确的JDK版本

为防止系统里存在多个版本的JDK，需要使用alternatives选择正确的版本：

alternatives --config java

请选择/usr/java/jdk1.8.0_71/jre/bin/java对应的数字标号。

查看java版本

Java -version

五 安装hadoop

本步骤需要在每个节点下载和安装hadoop，并做简单的配置。

1.安装Hadoop

tar zxvf hadoop-2.7.3.tar.gz -C /usr/hadoop --strip-components 1

2.配置环境变量

打开~/.bashrc文件，在文件末添加如下内容：

export HADOOP_HOME=/usr/hadoop 
export HADOOP_COMMON_HOME=$HADOOP_HOME
 export HADOOP_HDFS_HOME=$HADOOP_HOME 
export HADOOP_MAPRED_HOME=$HADOOP_HOME 
export HADOOP_YARN_HOME=$HADOOP_HOME 
export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib/native"

 export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
 export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin

3.使环境变量生效

source ~/.bashrc

六. 配置hadoop

1.首先登陆到Master节点

2.创建Datanode文件目录

mkdir ~/datanode 

# 远程到Datanode节点创建对应的目录

ssh Slave1-huyaqiong "mkdir ~/datanode" 
ssh Slave2-huyaqiong "mkdir ~/datanode"

3.配置hdfs

首先打开/usr/hadoop/etc/hadoop /hdfs-site.xml文件，在<configuration>

</configuration>之间添加如下内容：

<property>
    <name>dfs.replication</name>
    <value>2</value>
  </property>
  <property>
    <name>dfs.datanode.data.dir</name>
    <value>file:///usr/hadoop/datanode</value>
  </property>

4.将配置文件同步到Datanode

scp  /usr/hadoop/etc/hadoop hdfs-site.xml root@172.20.20.110:/usr/hadoop/etc/hadoop
scp  /usr/hadoop/etc/hadoop hdfs-site.xml root@172.20.20.249:/usr/hadoop/etc/hadoop

5.配置hadoop core

首先打开/usr/hadoop/etc/hadoop/core-site.xml文件，在<configuration> - </configuration>之间添加如下内容：

6.在hadoop中设置JAVA_HOME环境变量

首先通过如下命令在本机修改hadoop-env.sh文件中的环境变量：

sed -i -e 's/${JAVA_HOME}//usr/java/default/' /usr/hadoop/etc/hadoop/hadoop-env.sh

7.配置文件同步到Datanode

scp  /usr/hadoop/etc/hadoop/hadoop-env.sh root@172.20.20.107:/usr/hadoop/etc/hadoop/
scp  /usr/hadoop/etc/hadoop/hadoop-env.sh root@172.20.20.249:/usr/hadoop/etc/hadoop/

8.创建Namenode文件目录

本步骤只需在Namenode上操作。
首先创建目录：

mkdir /root/Namenode

9.配置hdfs-site.xml

编辑usr/hadoop//etc/hadoop/hdfs-site.xml文件，增加如下的配置项：

<property>
    <name>dfs.namenode.name.dir</name>
    <value>file:///usr/hadoop/namenode</value>
</property>

10.配置map-reduce

本步骤只需在Namenode上操作，打开/ usr/hadoop/etc/hadoop/mapred-site.xml文件，新增如下内容：

<configuration>
   <property>
     <name>mapreduce.framework.name</name>
     <value>yarn</value>
   </property>
</configuration>

11.配置yarn

首先打开/ usr/hadoop/etc/hadoop/yarn-site.xml文件，在<configuration> - </configuration>之间添加如下内容：

<property>
    <name>yarn.resourcemanager.hostname</name>
    <value>Master-huyaqiong</value>
  </property>
  <property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
  </property>

12.将配置文件同步到Datanode：

scp yarn-site.xml root@172.20.20.249://usr/hadoop/etc/hadoop

scp yarn-site.xml root@172.20.20.110://usr/hadoop/etc/hadoop

13.配置slave

打开etc/hadoop/slaves文件，添加如下内容：

七、启动验证

分别启动hdfs和yarn服务： 运行示例进行验证

start-dfs.sh
start-yarn.sh

在Namenode上运行jps命令，应该会看到如下进程：

在Datanode上运行jps命令，应该会看到如下进程：

通过web界面查看：

访问 http://172.20.20.249:8088/，可以看到如下图所示的页面，用来监控任务的执行情况：