一、Hadoop单节点部署
1、首先在服务器上安装centos系统,将系统的ip配置为静态ip,方便hadoop集群中主机绑定
2、Hadoop是java服务,需要借助JVM运行
本地下载jdk安装包,在linux系统中通过rz命令上传jdk到自定义文件夹/usr/local/apps/下,解压jdk,并且将jdk配置到linux的环境变量中。在命令行键入java -version测试jdk是否安装成功。
3、Hadoop安装
在本地下载Hadoop安装包,上传到自定义文件夹/usr/local/apps/下,进行解压,将hadoop的安装路径也配置到环境变量中。然后修改hadoop中的配置文件。主要有/usr/local/apps/hadoop-2.8.1/etc/hadoop中的以下几个文件需要修改:
a、vi core-site.xml
b、vi hdfs-site.xml
c、首先使用mv mapred-site.xml.template mapred-site.xml将文件.template后缀去掉,然后编辑文件
d、vi yarn-site.xml
4、将centos主机名和地址在linux系统文件中进行映射。vi /etc/hosts
注:为了后续的集群将centos-01和centos-02两个主机名顺带配置进去
5、hadoop单节点配置完成,下来启动hadoop
(1)格式化namenode节点
在hadoop的bin目录下,使用命令./hadoop naenode -format进行格式化
(2)手动启动hdfs服务
启动namenode进程: sbin/hadoop-daemon.sh start namenode
启动datanode进程:sbin/hadoop-daemon.sh start datanode
(3)手动启动yarn服务
启动resourcemanager服务: sbin/yarn-daemon.sh start sourcemanager
启动nodemanager服务:sbin/yarn-daemon.sh start nodemanager
(4)使用hadoop中的自动化脚本进行服务的启动
sbin/start-dfs.sh
sbin/start-yarn.sh
6、配置ssh的免密登录
在登录放生成密钥对,使用命令: ssh-keygen
将公钥拷贝到目标主机上,使用命令: ssh-copy-id 主机名
7、要想实现hadoop节点可以在外部进行访问,关闭防火墙
service iptables stop
二、Hadoop的多节点安装和部署
1、在服务器上新建两个主机,centos-01和centos-02,安装好jdk(同一中)
2、将centos中的配置好的hadoop文件复制到centos-01和centos-02目录中,使用命令: scp 文件 目标主机:文件路径
3、在主节点中修改文件/hadoop-2.8.1/etc/hadoop/slaves文件,将从节点的主机名添加进去:
4、在主节点中使用命令start-all.sh启动所有的服务,检查从节点是否也启动
5、至此三个节点的简单hadoop集群已经创建完毕