Centos7 搭建 hadoop3.1.1 集群教程

• 配置环境要求：

1. Centos7
2. jdk 8
3. Vmware 14 pro
4. hadoop 3.1.1

• Hadoop下载

1. 

• 安装4台虚拟机，如图所示

1. 

2. 克隆之后需要更改网卡选项，ip，mac地址，uuid

3. 
4. 重启网卡:

5. 为了方便使用，操作时使用的root账户

•  设置机器名称

1. 
2. 

3. 再使用hostname命令，观察是否更改

   类似的，更改其他三台机器hdp-02、hdp-03、hdp-04。

• 在任意一台机器Centos7上修改域名映射

  1. vi /etc/hosts
  2. 修改如下

  3. 使用scp命令发送其他克隆机上    scp /etc/hosts 192.168.126.124:/etc/

• 给四台机器生成密钥文件

1.  确认生成。
2. 把每一台机器的密钥都发送到hdp-01上（包括自己）
3. 将所有密钥都复制到每一台机器上

• 在每一台机器上测试

1. 无需密码则成功，保证四台机器之间可以免密登录

• 安装Hadoop

1. 在usr目录下创建Hadoop目录，以保证Hadoop生态圈在该目录下。
2. 使用xsell+xFTP传输文

3. 解压缩Hadoop

• 配置java与hadoop环境变量

export JAVA_HOME=/usr/jdk/jdk1.8.0_131
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
export PATH=${JAVA_HOME}/bin:$PATH

export HADOOP_HOME=/usr/hadoop/hadoop-3.1.1/
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

注意：以上四台机器都需要配置环境变量

• 修改etc/hadoop中的配置文件

  注：除了个别提示，其余文件只用修改hdp-01中的即可

1. 修改core-site.xml 

   <configuration>
   <property>
   <name>fs.defaultFS</name>
      <!-- 注意别的slave机需要识别master主机名，否则将不能与主机hdp-01沟通 -->
   
   <value>hdfs://hdp-01:9000</value>
   </property>
    <property>
     <name>hadoop.tmp.dir</name>
       <!-- 以下为存放临时文件的路径 -->
     <value>/opt/hadoop/hadoop-3.1.1/data/tmp</value>
    </property>
   </configuration>

2. 修改hadoop-env.sh

   export JAVA_HOME=/usr/jdk/jdk1.8.0_131

   注：该步骤需要四台都配置

3. 修改hdfs-site.xml

   <configuration>
   <property>
     <name>dfs.namenode.http-address</name>
    <!-- hserver1 修改为你的机器名或者ip -->
     <value>hdp-01:50070</value>
    </property>
    <property>
     <name>dfs.namenode.name.dir</name>
     <value>/hadoop/name</value>
    </property>
    <property>
     <name>dfs.replication</name>
      <!-- 备份次数 -->
     <value>1</value>
    </property>
    <property>
     <name>dfs.datanode.data.dir</name>
     <value>/hadoop/data</value>
    </property>
   
   
   </configuration>

4.  修改mapred-site.xml

   <configuration>
   <property>
   <name>mapreduce.framework.name</name>
   <value>yarn</value>
   </property>
   </configuration>

5. 修改 workers

   hdp-01
   hdp-02
   hdp-03
   hdp-04

6.  修改yarn-site.xml文件

   <configuration>
   
   <!-- Site specific YARN configuration properties -->
   <property>
   <name>yarn.resourcemanager.hostname</name>
    <value>hdp-01</value>
   </property>
   <property>
    <name>yarn.nodemanager.aux-services</name>
     <value>mapreduce_shuffle</value>
   </property>
    <property>
     <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
   <value>org.apache.hadoop.mapred.ShuffleHandler</value>
   </property>
   <property>
    <name>yarn.nodemanager.resource.cpu-vcores</name>
    <value>1</value>
   </property>
   
   </configuration>

   注：可以把整个/usr/hadoop目录所有文件复制到其余三个机器上 还是通过scp 嫌麻烦的可以先整一台机器，然后再克隆

• 启动Hadoop

1. 在namenode上初始化

   因为hdp-01是namenode，hdp-02、hdp=03和hdp-04都是datanode，所以只需要对hdp-01进行初始化操作，也就是对hdfs进行格式化。

    执行初始化脚本，也就是执行命令：hdfs namenode  -format

   等待一会后，不报错返回 “Exiting with status 0” 为成功，“Exiting with status 1”为失败

2. 在namenode上执行启动命令

   直接执行start-all.sh 观察是否报错，如报错执行一下内容

   $ vim sbin/start-dfs.sh
   $ vim sbin/stop-dfs.sh

   在空白位置加入

   HDFS_DATANODE_USER=root
   
   HADOOP_SECURE_DN_USER=hdfs
   
   HDFS_NAMENODE_USER=root
   
   HDFS_SECONDARYNAMENODE_USER=root

   $ vim sbin/start-yarn.sh 
   $ vim sbin/stop-yarn.sh 

   在空白位置加入

   YARN_RESOURCEMANAGER_USER=root
   
   HADOOP_SECURE_DN_USER=yarn
   
   YARN_NODEMANAGER_USER=root

   $ vim start-all.sh

   $ vim stop-all.sh

   TANODE_USER=root
   HDFS_DATANODE_SECURE_USER=hdfs
   HDFS_NAMENODE_USER=root
   HDFS_SECONDARYNAMENODE_USER=root
   YARN_RESOURCEMANAGER_USER=root
   HADOOP_SECURE_DN_USER=yarn
   YARN_NODEMANAGER_USER=root

   配置完毕后执行start-all.sh

   

   运行jps

   

   显示6个进程说明配置成功

3. 去浏览器检测一下  http://hdp-01:50070
4. 

   创建目录 上传不成功需要授权

   hdfs dfs -chmod -R a+wr hdfs://hdp-01:9000/

5. //查看容量
   hadoop fs -df -h /

   

6. 查看各个机器状态报告

   hadoop dfsadmin -report