Hadoop伪云计算平台搭建

环境：Centos7,jdk1.8 ,Hadoop2.7

  1、网络设置

 （1）[root@master ~]# vi  /etc/sysconfig/network-scripts/ifcfg-ens32

          把这一行 ONBOOT=no，设置成： ONBOOT=yes（意思是，设置成开机就启动网络）

    （2）[root@master ~]#systemctl  restart  network

    （3）在终端输入如下命令:ping 物理主机ip,检查网络是否畅通

   2、上传并安装jdk文件    

[root@master ~]#mkdir  /home/ab
[root@master ~]# cd /home/ab
[root@master ab]#mkdir  hjw

把jdk-8u172-linux-x64.tar.gz和hadoop-2.7.2.tar.gz文件上传到 /home/ab/hjw路径下边

[root@master ~]#mkdir  /opt/Java
[root@master ~]#cd  /opt/Java
[root@master Java] tar  xvf  /home/ab/hjw/jdk-8u172-linux-x64.tar.gz

备注：解压路径随意

 

 3、 JDK环境变量设置

    [root@master ~]# cp  ~/.bashrc  ~/.bashrc.original

    [root@master ~]# vi  ~/.bashrc（内容如下：）

export  JAVA_HOME=/opt/Java/jdk1.8.0_172
export  PATH=$PATH:$JAVA_HOME/bin

使配置生效

[root@master ~]#source  ~/.bashrc

[root@master ~]#echo  $JAVA_HOME
###查看JAVA环境变量

 

4. Hostname and Security Settings

  （1）hostname

           先备份要修改的文件：      

 [root@master ~]# cp  /etc/hostname  /etc/hostname.original

修改域名解析文件:

[root@master ~]#vi  /etc/hostname

内容修改成：master

[root@master ~]# source  /etc/hostname（使修改生效）

 

    (2) hosts

          设置 hosts 文件：

[root@master ~]# vim  /etc/hosts

最后一行添加：127.0.0.1   master

[root@master ~]# source  /etc/hosts（使修改生效）

测试一下是否设置成功：

[root@master ~]# ping  master

 

    (3)  Firewall

查看防火墙的运行状态：

 [root@master ~]# firewall-cmd  --state

停止防火墙服务：

 [root@master ~]# systemctl  stop  firewalld.service

备注：但是关闭防火墙只能是临时的, 重启之后, 防火墙依然可能启动。

所以需要把关闭指令写到 /etc/profile 里：

[root@master ~]# vim  /etc/profile

在文件最后一行添加，以后在保存退出。

systemctl  stop  firewalld.service

 

   5、hadoop文件安装与配置

      （1）hadoop文件安装 

[root@master ~]#mkdir  /opt/Hadoop
[root@master ~]#cd  /opt/Hadoop
[root@master Hadoop]#tar  xvf  /home/ab/hjw/hadoop-2.7.2.tar.gz
[root@master Hadoop]#cd  /opt/Hadoop/hadoop-2.7.2/etc/hadoop/
[root@master hadoop]#cp  mapred-site.xml.template mapred-site.xml

       （2）core-site.xml配置

[root@master hadoop]#vim  core-site.xml

 在 <configuration> 之间添加如下内容：

<property>

    <name>fs.default.name</name>

    <value>hdfs://master:9000/</value>

</property>

<property>

    <name>dfs.permissions</name>

    <value>false</value>

</property>

     （3）hdfs-site.xml配置

 [root@master hadoop]# vim  hdfs-site.xml

 在 <configuration> 之间添加如下内容：

<property>

    <name>dfs.data.dir</name>

    <value>/home/ab/BigData/Hadoop/dfs/data</value>

    <final>true</final>

</property>

<property>

    <name>dfs.name.dir</name>

    <value>/home/ab/BigData/Hadoop/dfs/name</value>

    <final>true</final>

    </property>

<property>

    <name>dfs.replication</name>

    <value>1</value>

</property>

<property>

    <name>dfs.secondary.http.address</name>

    <value>master:50090</value>

</property>

    （4） mapred-site.xml

 [root@master hadoop]#vi  mapred-site.xml

 在 <configuration> 之间添加如下内容：

          <property>

              <name>mapred.job.tracker</name>

              <value>master:9001</value>

          </property>

          <property>

              <name>mapreduce.framework.name</name>

              <value>yarn</value>

          </property>

          <property>

              <name>mapreduce.jobhistory.address</name>

              <value>master:10020</value>

              <description>MapReduce JobHistory Server IPC host:port</description>

          </property>

   （5）yarn-site.xml

[root@master hadoop]#cp  yarn-site.xml  yarn-site.xml.original
[root@master hadoop] #vi  yarn-site.xml

在 <configuration> 之间添加如下内容：

         <property>

              <name>yarn.nodemanager.aux-services</name>

              <value>mapreduce_shuffle</value>

          </property>

          <property>

              <name>yarn.resourcemanager.hostname</name>

              <value>master</value>

              <description>The hostname of the RM.</description>

          </property>

          <property>

              <name>yarn.log-aggregation-enable</name>

              <value>true</value>

          </property>

   (6)添加一个 masters 文件

[root@master hadoop]#vim  masters

内容为：master

 

6、 Format hadoop    格式化数据文件 hdfs-site.xml 里面设置的目录。

[root@master hadoop]#cd  /opt/Hadoop/hadoop-2.7.2/bin
[root@master bin]# ./hadoop  namenode  -format

 

7、 Start hadoop

[root@master hadoop]# cd  /opt/Hadoop/hadoop-2.7.2/sbin
[root@master sbin]#./start-all.sh
（默认必须以 root 启动，中间输入 4次 yes）

8、 Test Success

[root@master sbin]#jps

          等待启动完毕，在本窗口里，查看 java 的进程：检查，必须有 namenode、datanode，否则就得去找问题。

9、 Stop hadoop

[root@master hadoop]# cd  /opt/Hadoop/hadoop-2.7.2/sbin
[root@master sbin]#./stop-all.sh