配置分布式集群环境 Distributed Cluster System（多台虚拟机）hadoop 不成功

首先配置初始化虚拟机

https://parthgoelblog.wordpress.com/2016/12/31/how-to-install-hadoop-2-7-3-single-node-cluster-on-ubuntu-16-04/

sudo apt-get install openjdk-8-jdk

加上Hadoop-daemon.sh start datanode 否则无法启动

在/etc/hosts 配置slave host，要保证主机与slave 不重名，机器名称在/etc/hostname中修改

 

$ ssh-keygen -t rsa
NOTE: Leave file name and other things blank.
$ cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
$ chmod 0600 ~/.ssh/authorized_keys
$ ssh localhost

 

详细的步骤

https://www.cnblogs.com/jesse123/p/9122114.html

在master上免密码登录slave

ssh-copy-id -i ~/.ssh/id_rsa.pub slave1@slave1

ssh-copy-id -i ~/.ssh/id_rsa.pub slave2@slave2

ssh-copy-id -i ~/.ssh/id_rsa.pub slave3@slave3

 显示成功

 

3个datanode

vim /$HADOOP_HOME/etc/hadoop/hdfs-site.xml

 将datanode改为3

 

还记得原来我们将namenode 和datanode存在 /usr/local/hadoop_store/hdfs里面

进入修改datanode节点 

 

 

HADOOP the definitive guid 第二版的影印版，在配置hadoop集群中介绍到，其实，masters设置的是运行secondary namenode的结点，并且可以在masters里面设置多个结点来运行secondary namenode。

参考：https://blog.csdn.net/duchang110/article/details/18451145

 开始拷贝整个hadoop文件

sudo scp -r ./hadoop-2.7.3/ slave1@192.168.136.130:/usr/hadoop

 原因是对方主机用户slave1并没有权限

并且对方root用户并没有设置ssh密钥

所以曲线救国

sudo scp -r ./hadoop-2.7.3/ slave1@192.168.136.130:/home/slave1/

 成功

然后从/home/slave1 迁移到 /usr/local/hadoop

 成功

安装openjdk8 失败， 由于ubuntu14不支持openjdk8

sudo apt-get install openjdk-8-jdk

 故安装openjdk7

配置环境

 

 但是没有datanode

 

 修改 core-site.xml

 

 修改mapred-site.xml 设置jobtrack对应节点地址

 

 再启动看看

运行 hadoop namenode –format，会初始化namenode，记录集群元数据，即datanode的信息等。

 不成功 还是没有datanode

修改 slave节点只有slave1

 

增加masters作为secondnamenode节点

 在slave1上同操作

还是不行

 ssh的问题

ssh 192.168.136.129 不成功

ssh ubuntu成功

core-site.xml改成

 修改mapred-site.xml

 运行

 namenode解决了

datanode不出来

yarn-site.xml

运行

 slave机上的版本不一样

重新安装ubuntu 18.0.4在node1上

安装ssh vim net-tool pdsh

在主机上/etc/hosts 加上node1节点

 

在node1上修改主机名

修改成功后重启电脑，从主机ssh node1@node1成功

 在/etc/hosts中修改

127.0.1.1 node1
192.168.136.129 ubuntu
192.168.136.130 slave1
192.168.136.131 slave2
192.168.136.134 slave3

主机上修改slave文件，加上node1

sudo vim /usr/local/hadoop/hadoop-2.7.3/etc/hadoop/slave

加上node1@192.168.136.139

无密钥登录node1

ssh-copy-id -i ~/.ssh/id_rsa.pub node1@node1

 

 成功

然后在node1上安装java环境

sudo apt-get install openjdk-8-jdk

用java -version查看

 成功

至此slave机的环境搭建完毕，至于~/.bashrc 稍后会一起复制

复制hadoop

sudo scp -r /usr/local/hadoop/ node1@node1:/usr/local/

不成功没有权限，曲线救国

sudo scp -r /usr/local/hadoop/ node1@node1:/home/node1/

sudo mv /home/node1/hadoop/ /usr/local/成功

在主机上复制~/.bashrc到node1

scp -r ~/.bashrc node1@node1:~/

成功后重启node1

主机：hadoop namenode -format

/usr/local/hadoop/hadoop-2.7.3/sbin$ start-all.sh

最终不成功