Linux中Hadoop的环境搭建

一：下载安装 Hadoop

1.1：下载指定的Hadoop

1.2：通过XFTP把文件上传到master电脑bigData目录下

1.3：解压hadoop压缩文件

tar -xvf hadoop-2.8.0.tar.gz

1.4：进入压缩文件之后 复制路径

/bigData/hadoop-2.8.0

1.5：配置Hadoop的环境变量

vim /etc/profile

export HADOOP_HOME=/bigData/hadoop-2.8.0

export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

之后让文件生效

source /etc/profile

二：Hadoop集群的配置

2.1:进入hadoop的配置文件位置

cd hadoop2.8.0/etc/hadoop/

2.2:配置hadoop-env.sh文件

01.vim hadoop-env.sh

02.在文件中加入

export JAVA_HOME=/bigData/jdk1.8.0_121

2.3:配置yarn-env.sh文件

01.vim yarn-env.sh

02.在文件中加入

export JAVA_HOME=/bigData/jdk1.8.0_121

2.4:配置slaves文件，增加slave主机名或者IP地址

01.vim slaves

02.在文件中加入

slave1

slave2 ， 删除原有的localhost

2.5:配置core-site.xml文件

01.vim core-site.xml

02.在文件中的configuration节点里加入

<property>

   <name>fs.defaultFS</name>

   <value>hdfs://master:9000</value>

</property>

 

  <property>

     <name>hadoop.tmp.dir</name>

     <value>/bigData/hadoop-2.8.0/tmp</value> 

</property>

 

2.6:配置hdfs-site.xml文件

<property>

      <name>dfs.namenode.secondary.http-address</name>

      <value>master:50090</value>

    </property>

    <property>

      <name>dfs.replication</name>

      <value>2</value>

    </property>

    <property>

      <name>dfs.namenode.name.dir</name>

      <value>file:/bigData/hadoop-2.8.0/hdfs/name</value>

    </property>

    <property>

      <name>dfs.datanode.data.dir</name>

      <value>file:/bigData/hadoop-2.8.0/hdfs/data</value>

    </property>

2.7:配置yarn-site.xml文件

  <property>

          <name>yarn.nodemanager.aux-services</name>

          <value>mapreduce_shuffle</value>

  </property>

  <property>

           <name>yarn.resourcemanager.address</name>

           <value>master:8032</value>

  </property>

  <property>

          <name>yarn.resourcemanager.scheduler.address</name>

          <value>master:8030</value>

  </property>

<property>

<name>yarn.log-aggregation-enable</name>

<value>true</value>

</property>

<property>

         <name>yarn.resourcemanager.resource-tracker.address</name>

         <value>master:8031</value>

     </property>

     <property>

         <name>yarn.resourcemanager.admin.address</name>

         <value>master:8033</value>

     </property>

     <property>

         <name>yarn.resourcemanager.webapp.address</name>

         <value>master:8088</value>

     </property>

2.8:配置mapred-site.xml文件

mapred-site.xml.template 是存在的

mapred-site.xml不存在

注意：先要copy一份

cp mapred-site.xml.template mapred-site.xml

然后编辑

vim mapred-site.xml

新增以下内容

<property>

    <name>mapreduce.framework.name</name>

    <value>yarn</value>

  </property>

  <property>

    <name>mapreduce.jobhistory.address</name>

    <value>master:10020</value>

  </property>

  <property>

    <name>mapreduce.jobhistory.webapp.address</name>

    <value>master:19888</value>

  </property>

2.9:把配置好的hadoop文件复制到其他的子机器中

scp -r /bigData/hadoop-2.8.0 root@slave1:/bigData/

scp -r /bigData/hadoop-2.8.0 root@slave2:/bigData/

2.10:把配置好的/etc/profile复制到其他两个子机器中

scp /etc/profile root@slave1:/etc/profile

scp /etc/profile root@slave2:/etc/profile

之后在每个子机器中使用 source /etc/profile 使文件生效

2.11:在master 主机器中运行

hdfs namenode -format

2.12:在master 主机器中启动hadoop环境

进入/bigData/hadoop-2.8.0/sbin

./start-all.sh 启动hadoop集群

./stop-all.sh 关闭hadoop集群