• hadoop大数据分析与挖掘实战(读书笔记2)


    8/8(2)这个第二章节就是讲安装Hadoop

    8/9(3)非常痛苦

    安装hadoop前的设置

    (1)昨天很快的配置了VMWARE网络,但是一开始就是错的。一开始我的网关地址就是和书上的不一样。

    但是子码掩码是一样的,但是我用了书上的网关地址。

    (2)然后就是非常正常的操作,一气呵成的操作。

    1.useradd hadoop 2.passwd hadoop  

    3.chmod u+w /  4.vim /etc/sudoers

    在root ALL=(ALL) ALL 下添加 hadoop ALL=(ALL) ALL

    chmod u -w /etc/sudoers

    (3)之后就是设置静态IP

    也是在这里把网关地址设置错了。

    (4)修改etc/sysconfig/network

    这里也是把网关的地址修改错了,网关错误。

    (5)修改DNS信息也是没有修改全

    而且莫名其妙的是为什么DNS的要修改成网关的地址。

    还要写个search bogon下去?

    (6)然后修改了etc/host 里面的内容

    把什么master slave 设置了,但是是按照书本设置的,所以地址肯定是错的。

     shhd服务必须要启动service network

    然后sudo scp /etc/host root@slave1:/etc这个语句执行不了,因为没有网络服务。但是不一定,因为可能是两个slave的

    ip地址没有设置好的问题。而且我也没有去试试。我要先明确一点,必须先搞定service network restart的问题。确定可以联网。

    才可以连接sshd。

    所以以上的种种设置,可能需要结合我的机器的情况设置。但是没有,所以就一直一直一直一直

    无法service network restart。无法启动各项网络任务。

    于是经过了重重关卡,我终于成功启动service network!

     有几个重要的文件需要处理 /etc/sysconfig/network-scripts/ifcfg-ens33 我重修改成了:

    然后还有etc/sysconfig/network

    我全部用一个#注释掉了。

    还有etc/resolv.conf

    也是全部一个#注释掉了。而且最重要的,操作完后,一定一定要重启!重启!重启!重启!重启!重启!

    最后终于成功了!!!

    这是配置。

    结果万万没有想到,今天重新打开,一样的ifcfg-ens33

    一样的network 一样的resolv.conf,然后居然重启网络失败。非常困惑。

    打开IP ADDR 没有看到地址。

    其实问题也不难,就是需要清楚一点。这里有三个虚拟机,共用一张网卡吗?不行

    所以需要注释掉两个 奴隶机 的UUID 和 硬件地址,顺便把设备名字也注释掉。然后重启,按顺序开机。

    转换思路1:

    结果折腾了很久很久,都不得上网。所以我放弃,转换思路。安装几个不同的 不是彼此克隆 都是独立安装的centos。

    之前原来安装 centos 的时候,发现一直是最小安装,原来可以搭上桌面没有必要去yum intsall 一个桌面。而且配置网络也是,

    一开始就可以把主机名,静态IP,DSN设置好。(关于DSN可以查这:https://www.douban.com/note/373697762/)

    目前就用114.114.114.114。

    然后用ssh slave的ip 结果出错。

    不能用克隆主机制造奴隶机,必须独立安装奴隶机。

    在等待了些许时间后,总算装好了一个主人机,和一个奴隶机。都是独立安装,所以终于不存在上网问题了。

    然后用SSH 的时候,也可以连接。但是需要密码。所以现在需要免登录SSH。

    至于免登录系统,实在是很难。因为我已经把把公匙考到了.ssh文件夹里去了。但是仍然提示要登陆密码。

    终于解决了这个ssh 免登录的问题。用cat 检查了日志之后发现一点奇怪之处。

    发现checking getaddrinfo 出错,invalid user sam...所以我猜测应该是/etc/hosts 文件没写好。果然

    我/etc/hosts 文件里 192.168.133.150 Master 是错误的,正确的应该是  192.168.133.151 Master。

    后来重新生成了密匙后,拷贝过去,成功了。

    然后安装hadoop,然后做了相关的配置。

    码下了hdfs namenode -format 找不到命令。

    然后 start -dfs.sh 这个命令产生了很多问题。

    start -yarn.sh 这个命令也产生了很多问题。

    然后这个jps 是有反应的。但是

    slave 机没有反应。

  • 相关阅读:
    很多人知道外包的种种不好,但还是选择去外包,这是为什么呢?
    微信聊天内容可以被监听吗
    Go 语言笔试面试题(实现原理)
    oracle中正则表达式相关函数regexp_like简介
    These 30 keyboard shortcuts are guaranteed to save you time in After Effects.
    Why is git submodule not updated automatically on git checkout?
    WPF DataBinding: Nullable Int still gets a validation error?
    How to make a dropdown list of all cultures (but no repeats)
    米象
    How To Bind a Combobox to a Dictionary in WPF C#
  • 原文地址:https://www.cnblogs.com/zzzPark/p/7298348.html
Copyright © 2020-2023  润新知