• 完全分布模式hadoop集群安装配置之二 添加新节点组成分布式集群


    前文说到如何搭建集群中第一个节点,这篇将说到如何向集群添加节点。这篇是基于前文的,没有看过前文的可以参考此链接:http://www.cnblogs.com/mikelij/archive/2012/03/06/2380937.html

    2 向集群添加节点

      前文已经建立了一个节点的hadoop集群。现在要做的添加节点。安装JDK, 创建hadoop用户等见前文。这里就不重复了。

    2.1 检查主机名,修改/etc/hostname, /etc/hosts

    新节点需要在这个集群里叫一个名字,给此节点命名,比如slavenode1, slavenode2, etc.集群里新加入的服务器都需要在/etc/hostname中改名,将规定的服务器名放在/etc/hostname文件中。然后将已有服务器上的/etc/hosts拷贝过来。再加上此新节点的主机名。然后再复制到群里每一个服务器中。即所有集群中服务器的/etc/hosts文件要一样。

    2.2 配置SSH Key以便hadoop用户无密码登录集群

      与前文不同的是,此处只需要将之前的节点产生的ssh key等拷贝过来就可以了。用hadoop用户登录,

    sudo apt-get install ssh

    安装完ssh就可以从已有的服务器上拷贝ssh key了。

    mkdir /home/hadoop/.ssh

    scp hadoop@namenode:/home/hadoop/.ssh/* /home/hadoop/.ssh/

    这就拷贝过来了。之所以要从已有服务器上拷贝ssh key,是因为如果两个服务器的ssh key不一致,则第一次连服务器时,还是需要密码的。这里的需求是hadoop用户连任何一个集群中的服务器都不需要密码,因此需要拷贝已有服务器上的ssh key.

    下面需要从此节点用ssh命令连 到已有的所有节点上去。已有的节点只有一个时,假设本节点的主机名是slavenode1, 就ssh namenode, ssh localhost, ssh slavenode1。如果已经有namenode, slavenode1, slavenode2... 到slavenode6, 那么就尝试ssh namenode, ssh slavenode1, ssh slavenode2, ..., ssh slavenode6, ssh localhost. 保证这些连接都是不需要密码就可连接的就可以了。另外在换到其他机器上,都ssh 此节点的主机名,如ssh slavenode1s。这样的方法,就可以保证每台机器间都可以用ssh无密码就可以连接。用的用户都是hadoop。

    2.3 安装hadoop包

       可参考前文的1.5, 这里就不重复了。

    2.4 namenode上的hadoop配置

     集群里要加入新的节点,可以在namenode服务器上的mapred-site.xml中加入dfs.hosts和mapred.hosts两个元素。即象这样:

    <property>
      <name>dfs.hosts</name>
      <value>/usr/local/hadoop/hadoop-0.20.203.0/conf/slaves</value>
    </property>
    <property>
      <name>mapred.hosts</name>
      <value>/usr/local/hadoop/hadoop-0.20.203.0/conf/slaves</value>
    </property>

    然后再在/usr/local/hadoop/hadoop-0.20.203.0/conf/slaves文件中写上集群中所有的节点的主机名。一个主机名占一行。如:

    namenode

    slavenode1

    slavenode2

    ...

    如果dfs.hosts和mapred.hosts已经加好了,就只需要到slaves中加入一行。

    2.5 新加入节点的hadoop配置

    集群中所有节点的hadoop配置要全部保持一致。即那些core-site.xml, hdfs-site.xml, mapred-site.xml, masters, slaves可以从已有节点处拷贝过来。包括/etc/environment也可以从已有节点那里拷贝过来。用scp命令,上面已经用过了,再用scp拷贝这些文件过来。

    2.6 新加入节点启动

    start-dfs.sh

    start-mapred.sh

    2.7 通知namenode和jobtracker有新节点加入

    在第一台服务器(namenode兼jobtracker)运行的情况下,到第一台服务器那里,

    hadoop dfsadmin -refreshNodes

    这是通知hdfs有新节点加入

    hadoop mradmin -refreshNodes

    这是通知jobtracker有新节点加入

    2.8 验证集群是否正常工作

    还是老办法,用一些常用命令将一些服务器上的本地文件方到服务器上,如:

    hadoop fs -put testfolder uploadfolder

    再拷贝,删除等做一做。

    另外验证jobtracker和所有的tasktracker是否正常工作,还是用wordcount示例来运行:

    hadoop jar hadoop-examples-0.20.203.0.jar wordcount input output

    得到大概这样的结果就对了, 即map增长到100%, reduce也增长到100%。

    访问http://namenode:50070/ 可以看到集群里所有的datanode

    还有http://namenode:50030/ 可以看到集群里所有的tasktracker

    2.7 启动集群

    namenode上运行:

    start-all.sh

    slavenode上运行:

    start-dfs.sh

    start-mapred.sh

    2.8 停止集群

    slavenode上运行:

    stop-mapred.sh

    stop-dfs.sh

    namenode上运行:

    stop-all.sh

    2.9 遇到的问题

    Too many fetch-failures问题

    这次还是遇到了这个问题,和单机时一样的错误信息Too many fetch-failures,略有不同的是reduce不是卡在0%,而是卡在17%那里就不动了。

    这次又是到处检查,最后发现是第一台服务器的/etc/hosts文件里少写了一个服务器名字。将这个服务器名字补上以后,这个wordcount示例就可以正常运行了。

    所以集群中所有服务器的/etc/hosts, core-site.xml, hdfs-site.xml, mapred-site.xml, masters, slaves,还有ssh key所在.ssh目录等文件和目录都需完全一样。

    以上说的是往集群里添加节点,这里说的是添加第二个节点,此过程适用于以后所有新节点的添加。第三个一直到第n个都是按同样的方法来添加。只要重复以上过程就可以了。

    本文就说到这里。后文再说一些hadoop集群管理的内容。

  • 相关阅读:
    [Usaco2005 open]Expedition
    舞会
    双栈维护之--Hdu4699 editor
    利用两个堆来维护第K大之Poj3784 Running Median
    Zju1061Web Navigation 网络导航
    Qsort求静态的第K大
    BZOJ2726【SDOI2012】任务安排(斜率优化Dp+二分查找)
    P2365 任务安排 斜率优化入门
    任务处理--斜率优化Dp入门
    结构体排序教学
  • 原文地址:https://www.cnblogs.com/mikelij/p/2388481.html
Copyright © 2020-2023  润新知