Centos搭建Hadoop
- 一、搭建Hadoop需要JDK环境，首先配置JDK
- 二、下载haoop
- 三、在Centos服务器上解压下载好的安装包
- 四、修改配置文件
- 五、配置环节变量/etc/profile
- 六、格式化NameNode
- 七、启动hadoop进程
- 八、测试访问50070端口
- 九、启动yarn
- 踩坑填坑记录：
- 官网下载hadoop包，切记要下载好正确的tar.gz包，第一次因为下错包，导致各种各样的错误出现。
- 配置文件的修改，修改配置文件时，一定要细心细心再细心，常常因为输入一个字母或符号导致出错，之前配置时，因为多输入一个：，导致排查错误很多次。
- 配置文件（*-site.xml）中的主机名都可以换为ip。
- 如果使用主机名配置时，需要注意修改系统主机名和映射文件
- 启动yarn和dfs时，如果不想重复输入密码，则需要进行ssh免密码登录配置。
- WARNING: HADOOP_SECURE_DN_USER has been replaced by HDFS_DATANODE_SECURE_USER.
- hadoop 3.x 启动过程中 Permission denied (publickey,gssapi-keyex,gssapi-with-mic,password).
- hadoop 集群开启之后datanode没有启动
一、搭建Hadoop需要JDK环境，首先配置JDK
二、下载haoop
官网地址：hadoop官网下载地址
三、在Centos服务器上解压下载好的安装包
tar -zxvf hadoop-3.1.2.tar.gz
四、修改配置文件
进入到/hadoop/etc/hadoop目录，首先修改
4.1 hadoop-env.sh
添加export JAVA_HOME=/usr/java/jdk1.8.0.144；
添加：
# set hadoop environment virables
export HADOOP_HOME=/usr/local/hadoop
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib:$HADOOP_COMMON_LIB_NATIVE_DIR"
4.2 core-site.xml
添加如下信息：
<configuration>
<property>
<name>fs.default.name</name>
# 此处可能会埋坑，也可直接根据Ip进行设置如：hdfs://192.168.x.xx:9000
<value>hdfs://alary001:9000</value>
</property>
</configuration>
4.3 hdfs-site.xml
<configuration>
<property>
<name>dfs.name.dir</name>
# 需要在目录/usr/local/处新建一个名为data的文件夹
<value>/usr/local/data/datanode</value>
</property>
<property>
<name>dfs.data.dir</name>
<value>/usr/local/data/tmp</value>
</property>
<property>
# hadoop的备份系数
<name>dfs.replication</name>
<value>3</value>
</property>
</configuration>
dfs.replication一般设置多大的值比较合适？
dfs.replication=3表示冗余份数，这是hdfs的容错机制，防止有磁盘受损后数据损害。
Hadoop的备份系数是指每个block在hadoop集群中有几份，系数越高，冗余性越好，占用存储也越多。备份系数在hdfs-site.xml中定义，默认值为3.
4.4 mapred-site.xml
首先，需要查看是否有该配置文件，若无该文件，可以通过重命名mv mapred-site.xml.template mapred-site.xml改成此文件名。
修改内容如下：
<configuration>
<property>
# 指的是使用yarn运行mapreduce程序
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>
启动了HDFS之后，就可以启动yarn了。执行命令start-yarn.sh即可启动MapReduce集群。
4.5 yarn-site.xml
修改内容如下：
<configuration>
<!-- Site specific YARN configuration properties -->
<property>
<name>yarn.resourcemanager.hostname</name>
<value>alary001</value>
</property>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
</configuration>
YARN中的资源管理器（Resource Manager）负责整个系统的资源管理和调度，并内部维护了各个应用程序的ApplictionMaster信息，NodeManager信息，资源使用信息等。在2.4版本之后，Hadoop Common同样提供了HA的功能，解决了这样一个基础服务的可靠性和容错性问题。
ResourceManager (RM)负责跟踪集群中的资源，以及调度应用程序(例如，MapReduce作业)。在Hadoop 2.4之前，集群中只有一个ResourceManager，当其中一个宕机时，将影响整个集群。高可用性特性增加了冗余的形式，即一个主动/备用的ResourceManager对，以便可以进行故障转移。
YARN HA的架构如下图所示：
五、配置环节变量/etc/profile
需要配置JAVA_HOME以及HADOOP的相关配置，配置内容如下：
export JAVA_HOME=/usr/local/java/jdk1.8.0_131
export CLASS_PATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
# set hadoop environment
export HADOOP_HOME=/usr/local/hadoop
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOOP_HOME
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export HADOOP_YARN_HOME=$HADOOP_HOME
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib"
export PATH=$JAVA_HOME/bin:$HADOOP_HOME/bin:$PATH:$HADOOP_HOME/sbin
然后执行source /etc/profile,让配置文件生效
六、格式化NameNode
在任意目录下（配置Hadoop环境变量的情况下）执行命令：
hdfs namenode -format或者hadoop namenode -format
实现格式化。
七、启动hadoop进程
执行start-dfs.sh(注意中间没有空格)；没有配置ssh免密登录之前，会不停的需要输入yes和密码，最后界面如图：
八、测试访问50070端口
关闭防火墙后，
service iptables stop
打开浏览器输入：http://192.168.x.xxx:50070/
九、启动yarn
执行start-yarn.sh启动yarn计算进程。
在浏览器中：http://192.168.x.xxx:8088/打开主页面：
踩坑填坑记录：
官网下载hadoop包，切记要下载好正确的tar.gz包，第一次因为下错包，导致各种各样的错误出现。
配置文件的修改，修改配置文件时，一定要细心细心再细心，常常因为输入一个字母或符号导致出错，之前配置时，因为多输入一个：，导致排查错误很多次。
配置文件（*-site.xml）中的主机名都可以换为ip。
如果使用主机名配置时，需要注意修改系统主机名和映射文件
修改主机名称：
vi /etc/sysconfig/network
HOSTNAME=xxxx
配置映射信息：
启reboot，之后就可以使用主机名访问了 ，但是使用主机名访问只能虚拟机内。若需要在外部也使用主机名访问，在windows中配置hosts即可。
启动yarn和dfs时，如果不想重复输入密码，则需要进行ssh免密码登录配置。
WARNING: HADOOP_SECURE_DN_USER has been replaced by HDFS_DATANODE_SECURE_USER.
adoop启动时WARNING: HADOOP_SECURE_DN_USER has been replaced by HDFS_DATANODE_SECURE_USER. Using value of HADOOP_SECURE_DN_USER.错误。
解决方案，在$ vim sbin/start-dfs.sh $ vim sbin/stop-dfs.sh 将
HDFS_DATANODE_USER=root
HADOOP_SECURE_DN_USER=hdfs
HDFS_NAMENODE_USER=root
HDFS_SECONDARYNAMENODE_USER=root
改为：
HDFS_DATANODE_USER=root
HDFS_DATANODE_SECURE_USER=hdfs
HDFS_NAMENODE_USER=root
HDFS_SECONDARYNAMENODE_USER=root
hadoop 3.x 启动过程中 Permission denied (publickey,gssapi-keyex,gssapi-with-mic,password).
出现这种状况是因为当前账号没有配置ssh免密登录；
hadoop 3.x 启动过程中 Permission denied (publickey,gssapi-keyex,gssapi-with-mic,password).
hadoop 集群开启之后datanode没有启动
这个问题困扰了我很久，Master机器的各项都成功没有问题，slave机器的datanode各种启动不出来，尝试了网上的各种说法，最后还是有问题，但怀疑还是有部分配置没设置对，待查看。
hadoop 集群开启之后datanode没有启动