8/8(2)这个第二章节就是讲安装Hadoop
8/9(3)非常痛苦
安装hadoop前的设置
(1)昨天很快的配置了VMWARE网络,但是一开始就是错的。一开始我的网关地址就是和书上的不一样。
但是子码掩码是一样的,但是我用了书上的网关地址。
(2)然后就是非常正常的操作,一气呵成的操作。
1.useradd hadoop 2.passwd hadoop
3.chmod u+w / 4.vim /etc/sudoers
在root ALL=(ALL) ALL 下添加 hadoop ALL=(ALL) ALL
chmod u -w /etc/sudoers
(3)之后就是设置静态IP
也是在这里把网关地址设置错了。
(4)修改etc/sysconfig/network
这里也是把网关的地址修改错了,网关错误。
(5)修改DNS信息也是没有修改全
而且莫名其妙的是为什么DNS的要修改成网关的地址。
还要写个search bogon下去?
(6)然后修改了etc/host 里面的内容
把什么master slave 设置了,但是是按照书本设置的,所以地址肯定是错的。
shhd服务必须要启动service network
然后sudo scp /etc/host root@slave1:/etc这个语句执行不了,因为没有网络服务。但是不一定,因为可能是两个slave的
ip地址没有设置好的问题。而且我也没有去试试。我要先明确一点,必须先搞定service network restart的问题。确定可以联网。
才可以连接sshd。
所以以上的种种设置,可能需要结合我的机器的情况设置。但是没有,所以就一直一直一直一直
无法service network restart。无法启动各项网络任务。
于是经过了重重关卡,我终于成功启动service network!
有几个重要的文件需要处理 /etc/sysconfig/network-scripts/ifcfg-ens33 我重修改成了:
然后还有etc/sysconfig/network
我全部用一个#注释掉了。
还有etc/resolv.conf
也是全部一个#注释掉了。而且最重要的,操作完后,一定一定要重启!重启!重启!重启!重启!重启!
最后终于成功了!!!
这是配置。
结果万万没有想到,今天重新打开,一样的ifcfg-ens33
一样的network 一样的resolv.conf,然后居然重启网络失败。非常困惑。
打开IP ADDR 没有看到地址。
其实问题也不难,就是需要清楚一点。这里有三个虚拟机,共用一张网卡吗?不行
所以需要注释掉两个 奴隶机 的UUID 和 硬件地址,顺便把设备名字也注释掉。然后重启,按顺序开机。
转换思路1:
结果折腾了很久很久,都不得上网。所以我放弃,转换思路。安装几个不同的 不是彼此克隆 都是独立安装的centos。
之前原来安装 centos 的时候,发现一直是最小安装,原来可以搭上桌面没有必要去yum intsall 一个桌面。而且配置网络也是,
一开始就可以把主机名,静态IP,DSN设置好。(关于DSN可以查这:https://www.douban.com/note/373697762/)
目前就用114.114.114.114。
然后用ssh slave的ip 结果出错。
不能用克隆主机制造奴隶机,必须独立安装奴隶机。
在等待了些许时间后,总算装好了一个主人机,和一个奴隶机。都是独立安装,所以终于不存在上网问题了。
然后用SSH 的时候,也可以连接。但是需要密码。所以现在需要免登录SSH。
至于免登录系统,实在是很难。因为我已经把把公匙考到了.ssh文件夹里去了。但是仍然提示要登陆密码。
终于解决了这个ssh 免登录的问题。用cat 检查了日志之后发现一点奇怪之处。
发现checking getaddrinfo 出错,invalid user sam...所以我猜测应该是/etc/hosts 文件没写好。果然
我/etc/hosts 文件里 192.168.133.150 Master 是错误的,正确的应该是 192.168.133.151 Master。
后来重新生成了密匙后,拷贝过去,成功了。
然后安装hadoop,然后做了相关的配置。
码下了hdfs namenode -format 找不到命令。
然后 start -dfs.sh 这个命令产生了很多问题。
start -yarn.sh 这个命令也产生了很多问题。
然后这个jps 是有反应的。但是
slave 机没有反应。