• hadoop集群安装


    :一、安装jdk环境(前提)

    二、安装hadoop(hadoop-2.7.7.tar.gz)

      1. 角色分配(3节点搭建)

      node-1  NameNode  DataNode  ResourceManager

      node-2  DataNode  NodeManager   SecondaryNameNode

      node-3  DataNode  NodeManager

      

      在三台服务器中配置主机名映射

       注意:要保证三个节点时间同步,node-1,node-2,node-3为各个主机名,node-1为主服务器,其余为从服务器,可配置主服务器到从服务器之间免密登录

      ssh-keygen -t rsa(四个回车)  ssh-copy-id node-2(ssh-copy-id node-3)

      2. 上传并解压hadoop-2.7.7.tar.gz(本人解压在/usr/local/java目录下),目录结构如下:

      

      bin:Hadoop最基本的管理脚本和使用脚本的目录

      etcHadoop配置文件的目录

      include对外提供的编程库头文件(通常用于c++程序访问HDFS或者编写MapReduce程序)

      lib包含了Hadoop对外提供的编程动态库和静态库,与include结合使用

      libexec各个服务用的shell配置文件所在目录,可用于配置日志输出,启动参数等信息

      sbinHadoop管理脚本所在的目录,主要包含HDFS和yarn中各类服务的启动/关闭脚本

      shareHadoop各个模块编译后的jar包所在目录

      3. 修改配置文件

        3.1、hadoop-env.sh

        

        修改此配置项,改为本机jdk的安装路径,本人为/usr/local/java/jdk

        

        3.2、core-site.xml

        

        3.3、hdfs-site.xml

        

        3.4、mapred-site.xml

        mv mapred-site.xml.template mapred-site.xml

        

        3.5、yarn-site.xml

        

        3.6、slaves

        将该文件中的内容替换成三个节点的主机名

        

      4. 将hadoop添加到环境变量中

      

      5. 将配置好的hadoop文件复制到其余从节点上(本人是从node-1复制到node-2和node-3上)

      scp -r /usr/local/java/hadoop root@node-2:/usr/local/java/

      scp -r /usr/local/java/hadoop root@node-3:/usr/local/java/

      每个服务器上添加hadoop的环境变量

     三、启动

      首次启动HDFS,需要在主节点(namenode)上对其进行格式化(格式化只能进行一次)  hdfs namenode -format或者hadoop namenode -format

      如果使用一键启动,需要配置免密登录和修改slaves文件

     四、UI界面

      NameNode`  访问NameNode所在服务器的50070端口

      ResourceManager  访问ResourceManager所在服务器的8088端口

      

     

  • 相关阅读:
    [译]Angular2 和TypeScript -- 一次简要的预览
    浅谈沟通技巧
    浅谈面试官的“被面试”技能
    2020个人总结
    浅谈任务委托与团队建设
    2020已读书单
    2019年个人总结
    目标分析与制定算法
    X短期项目总结
    寻求改变
  • 原文地址:https://www.cnblogs.com/ITMan-blogs/p/10982378.html
Copyright © 2020-2023  润新知