进阶2：Hadoop 环境搭建： hadoop3.1.1 jdk1.8 在centos6.5上的伪分布式安装

参考文章：

        https://blog.csdn.net/qq_38038143/article/details/82779016

        https://blog.csdn.net/m0_37461645/article/details/84111375

1. 安装包准备

     hadoop3.1   :     https://pan.baidu.com/s/1VBivgUyyjmS5ysLOiVC1Og     密码：xxo6

     jdk1.8 ：          https://pan.baidu.com/s/142vome8m8BfsE6aF6OMZyA    密码： jg1l

     在主机端下载后，通过WinSCP软件将两个安装包传输到Redhat上。如图：

      

2. 安装jdk

    命令：

 rpm -ivh jdk-8u51-linux-x64.rpm

   安装完成后，执行命令如下：

 rpm -qa | grep jdk

   

   发现，java的版本仍然为1.7.0_65。rpm命令查询，系统默认已安装了jdk1.6和1.7。则依次卸载1.6和1.7：

   命令：

 rpm -e java-1.6.0-openjdk-1.6.0.0-11.1.13.4.el6.x86_64
 rpm -e java-1.7.0-openjdk-1.7.0.65-2.5.1.2.el6_5.x86_64

   并且修改/etc/profile文件，在文件末尾添加：

export JAVA_HOME=/usr/java/jdk1.8.0_51

    执行命令，使/etc/profile文件立即生效：

    命令：

source /etc/profile

  再次查看java版本，安装成功

   

3. 设置免密登录

     依次执行命令：

ssh-keygen -t rsa
cat  /root/.ssh/id_rsa.pub  >>  /root/.ssh/authorized_keys
chmod 600 authorized_keys

    执行ssh localhost查看系统是否能够免密登录。

4. hadoop安装

    解压hadoop-3.1.1：

tar -zxvf hadoop-3.1.1.tar.gz

   移动压缩后的文件，并修改名称：

mv hadoop-3.1.1 /usr/local/hadoop

   编辑hadoop 版本文件

 vim /usr/local/hadoop/etc/hadoop/hadoop-env.sh 

   在该文件hadoop-env.sh末尾加入：

export JAVA_HOME=/usr/java/jdk1.8.0_51

   执行命令查看版本：

cd /usr/local/hadoop/
./bin/hadoop version

 

   配置文件：
   修改文件~/.bashrc，在文件末尾加入：

export JAVA_HOME=/usr/java/jdk1.8.0_51
export HADOOP_HOME=/usr/local/hadoop
export HADOOP_INSTALL=$HADOOP_HOME 
export HADOOP_MAPRED_HOME=$HADOOP_HOME 
export HADOOP_COMMON_HOME=$HADOOP_HOME 
export HADOOP_HDFS_HOME=$HADOOP_HOME 
export YARN_HOME=$HADOOP_HOME 
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native 
export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin

5. 伪分布式搭建

     5.1 hadoop配置

         5.1.1 在 /usr/local/hadoop/ 创建目录：

           

       5.1.2  修改配置文件：

               进入路径：

               

             

             修改以下文件内容：

1. vim core-site.xml
   注：将下列所有配置文件的yue修改为自己centOS的主机名（如下面代码第9行，修改为hdfs://你的主机名:9000）
   在<configuration中加入以下内容，：

<configuration>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>file:/usr/local/hadoop/tmp</value>
        <description>注释</description>
    </property>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://yue:9000</value>
    </property>
</configuration>

                    2.vim hdfs-site.xml

                      在<configuration中加入以下内容：

       

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <property>
        <name>dfs.permissions</name>
        <value>false</value>
    </property>
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>file:/usr/local/hadoop/dfs/name</value>
    </property>
<property>
        <name>dfs.datanode.data.dir</name>
        <value>file:/usr/local/hadoop/dfs/data</value>
    </property>
</configuration>

3. vim mapred-site.xml
   在<configuration中加入以下内容：

<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
    <property>
        <name>mapreduce.jobtracker.address</name>
        <value>yue:9001</value>
    </property>
</configuration>

               4. vim yarn-site.xml
                 在<configuration中加入以下内容：

<configuration>

<!-- Site specific YARN configuration properties -->
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
    <property>
        <name>yarn.resourcemanager.webapp.address</name>
        <value>yue:8099</value>
    </property>
</configuration>

6. 报错处理（可以跳过此步骤，直接进入8. hadoop启动）

     由于启动过程发生报错，作出以下修改：
     进入路径：

[root@master sbin]# pwd
/usr/local/hadoop/sbin

       1.修改start-dfs.sh，stop-dfs.sh

          在这两个文件的头部加入：

#!/usr/bin/env bash
HDFS_DATANODE_USER=root
HADOOP_SECURE_DN_USER=hdfs
HDFS_NAMENODE_USER=root
HDFS_SECONDARYNAMENODE_USER=root

     2.修改start-yarn.sh，stop-yarn.sh

      在这两个文件的头部加入：

#!/usr/bin/env bash
YARN_RESOURCEMANAGER_USER=root
HADOOP_SECURE_DN_USER=yarn
YARN_NODEMANAGER_USER=root

     3. 修改文件：

vim /usr/local/hadoop/etc/hadoop/log4j.properties

    4.在文件末尾加入：

log4j.logger.org.apache.hadoop.util.NativeCodeLoader=ERROR

 5.  如果在启动时报错：could not resolve hostname yue :name or service not know

       解决办法：

vi  /etc/hosts

       注释前面，并新增(IP    主机名)：

192.168.57.129  yue

7. hadoop启动（若启动时报错，可以回到6. 报错处理）

     修改/etc/profile文件，在文件末尾加入，并执行source /etc/profile：

export PATH=$PATH:/usr/local/hadoop/bin:/usr/local/hadoop/sbin

     格式化namenode节点：
    命令：

hdfs namenode -format

    效果：

 

     启动：系统能够免密登录后，启动命令（停止命令：stop-all.sh）：

1. 执行

start-dfs.sh

在Linux的浏览器查看（hadoop2.x 端口为：50070，3.1为9870）：
可查看 NameNode 和 Datanode 信息，也可以在线查看 HDFS 中的文件

 

2. 执行

start-yarn.sh

在Linux的浏览器查看，可查看任务运行情况：

 

配置完成
参考链接：
https://blog.csdn.net/cx105200/article/details/78284761
https://blog.csdn.net/u011762604/article/details/72897000
https://blog.csdn.net/mm_bit/article/details/49474709
https://blog.csdn.net/lglglgl/article/details/80553828
https://blog.csdn.net/l1028386804/article/details/51538611