Overview:过程有很多帖子都解释了如何搭建,本文主要列举需要做的事情,然后在文末提供一个非常详细的搭建教程,方便大家使用。
我这里是使用了3台服务器搭建分布式平台,每台机子都需要配置java的开发环境,hadoop的四个XML文件,host名称和profile配置文件,特别需要注意的是master节点需要在/etc/hadoop目录下配置slave文件(配置节点信息,不然主机启动,slave节点不会启动),master节点需要配SSH免密码登录。
另外需要注意的是,每台机子配的hadoop的环境其实是一模一样的,装好一台,复制过去就行。master节点在加一些特殊配置就ok了
基础环境
Euler2.1 192.168.0.1 master
Euler2.1 192.168.0.2 slave1
Euler2.1 192.168.0.3 slave2
一、三台机子都要配的JAVA,XML*4,host,profile
1.master节点先配一下java的环境,网上资料很多
2.先后配置core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.xml、host、profile,具体参考文末给出的文档
3.分别从其他slave节点复制hadoop和java环境
scp -r root@192.168.0.1:/root/zhn_hadoop/hadoop /root/zhn_hadoop/
二、master配置slave文件和免密登录
1.master节点在hadoop/etc/hadoop/slave文件需要配置主从信息
192.168.0.1 master
192.168.0.2 slave1
192.168.0.3 slave2
2.SSH免密登录参考文末文件【配置SSH】
完全分布式搭建教程: