Linux下配置集群
（集群的机子必须都关闭防火墙，否则互相不能顺畅访问！！以致诸多错误！！）
首先需有jdk，且可运行，即有jdk环境变量
建议用我的目录/opt/app/hadoop-2.7.2
-----------------------------------------------------------------------------------------------------------------------
安装hadoop：
一、将hadoop包解压到/opt/app：tar 包名 -C /opt/app
二、添加hadoop的全局变量： vim /etc/profile
添加： export HADOOP_HOME=/opt/app/hadoop-2.7.2
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
三、刷新变量配置：source /etc/profile
-------------------------------------到此已配好hadoop----------------------------------------------------------------------
配置集群：（初始的本地模式、伪分布模式、完全分布模式）
伪分布模式（伪分布是一台机子承担全部角色）：
1、hdfs：
①配置文件（etc/hadoop）：
Ⅰ、hadoop-env.sh 添加：export JAVA_HOME=/opt/app/jdk1.8.0_131
Ⅱ、core-site.xml 在<configuration>下面添加：
<!-- 指定HDFS中NameNode的地址 -->
<property>
<name>fs.defaultFS</name>
<value>hdfs://hadoop11:9000</value>
</property>
<!-- 指定hadoop运行时产生文件的存储目录 -->
<property>
<name>hadoop.tmp.dir</name>
<value>/opt/app/hadoop-2.7.2/data/tmp</value>
</property>
Ⅲ、hdfs-site.xml 在<configuration>下面添加：
<!-- 指定HDFS副本的数量 -->
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
②启动集群：（a）格式化namenode（第一次启动时格式化，以后就不要总格式化）：
bin/hdfs namenode -format
（b）启动namenode：sbin/hadoop-daemon.sh start namenode
（c）启动datanode：sbin/hadoop-daemon.sh start datanode
2、yarn ：
①配置文件：
Ⅳ、yarn-env.sh 添加：export JAVA_HOME=/opt/app/jdk1.8.0_131
Ⅴ、yarn-site.xml 在<configuration>下面添加：
<!-- reducer获取数据的方式 -->
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<!-- 指定YARN的ResourceManager的地址 -->
<property>
<name>yarn.resourcemanager.hostname</name>
<value>hadoop11</value>
</property>
Ⅵ、mapred-env.sh 在<configuration>下面添加：export JAVA_HOME=/opt/app/jdk1.8.0_131
Ⅶ、mapred-site.xml(对mapred-site.xml.template重新命名) 在<configuration>下面添加：
<!-- 指定mr运行在yarn上 -->
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
<property>
<name>mapreduce.jobhistory.address</name>
<value>hadoop11:10020</value>
</property>
<property>
<name>mapreduce.jobhistory.webapp.address</name>
<value>hadoop11:19888</value>
</property>
②启动yarn： （a）启动ResourceManager：sbin/yarn-daemon.sh start resourcemanager
（b）启动NodeManager：sbin/yarn-daemon.sh start nodemanager
------------------------------------------------------------------------------------------------------------------------------------
完全分布模式（伪分布集群，分配角色）
准备至少三台配好jdk的机子
将配置文件修改，分配角色 ：
| hadoop11 | hadoop12 | hadoop13 | hadoop14 | |
| hdfs |
NameNode DataNode |
DataNode |
SecondaryNameNode DataNode |
DataNode |
| yarn |
NodeManager |
ResourceManager NodeManager |
NodeManager |
NodeManager |
①配置文件（etc/hadoop）：
Ⅰ、hadoop-env.sh 添加：export JAVA_HOME=/opt/app/jdk1.8.0_131
Ⅱ、core-site.xml 在<configuration>下面添加：
<!-- 指定HDFS中NameNode的地址 -->
<property>
<name>fs.defaultFS</name>
<value>hdfs://hadoop11:9000</value>
</property>
<!-- 指定hadoop运行时产生文件的存储目录 -->
<property>
<name>hadoop.tmp.dir</name>
<value>/opt/module/hadoop-2.7.2/data/tmp</value>
</property>
Ⅲ、hdfs-site.xml 在<configuration>下面添加：
<!-- 指定HDFS副本的数量 -->
<property>
<name>dfs.replication</name>
<value>3</value>
</property>
<property>
<name>dfs.namenode.secondary.http-address</name>
<value>hadoop13:50090</value>
</property>
Ⅳ、yarn-env.sh 添加：export JAVA_HOME=/opt/app/jdk1.8.0_131
Ⅴ、yarn-site.xml 在<configuration>下面添加：
<!-- reducer获取数据的方式 -->
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<!-- 指定YARN的ResourceManager的地址 -->
<property>
<name>yarn.resourcemanager.hostname</name>
<value>hadoop12</value>
</property>
Ⅵ、mapred-env.sh 在<configuration>下面添加：export JAVA_HOME=/opt/app/jdk1.8.0_131
Ⅶ、mapred-site.xml(对mapred-site.xml.template重新命名) 在<configuration>下面添加：
<!-- 指定mr运行在yarn上 -->
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
<property>
<name>mapreduce.jobhistory.address</name>
<value>hadoop11:10020</value>
</property>
<property>
<name>mapreduce.jobhistory.webapp.address</name>
<value>hadoop11:19888</value>
</property>
Ⅷ、slaves 将local删掉，添加：
hadoop11
hadoop12
hadoop13
hadoop14
②分发hadoop：无密码通讯下
scp /opt/app/hadoop-2.7.2 root@hadoop12
scp /opt/app/hadoop-2.7.2 root@hadoop13
scp /opt/app/hadoop-2.7.2 root@hadoop14
③启动集群：（a）在主节点hadoop11上格式化NameNode（集群成功后无需再格式化）：
bin/hdfs namenode -format
（b）在主节点hadoop11上启动dfs：sbin/start-dfs.sh
（c）在resourcemanager机子上启动yarn（）：sbin/start-yarn.sh
说明：Namenode和ResourceManger如果不是同一台机器，不能在NameNode上启
动 yarn，应该在ResouceManager所在的机器上启动yarn
查看进程： jps
停止进程：（a）停止dfs：sbin/stop-dfs.sh
（b）停止yarn：sbin/stop-yarn.sh