• hadoop完全分布式配置过程详解


    Hadoop全分布搭建

    一.今日任务

    hadoop完全分布式系统搭建

    二.任务内容

    1.准备软件

    hadoop-2.6.0-cdh5.7.0.tar.gz

    jdk-8u161-linux-x64.tar.gz

    Centos-6.5

    VirtualBox-5.2.18-124319-Win.exe

    1. 配置过程

    第一步:配置免密登录

    1. 新建虚拟机,设置静态ip地址,主机名masterip以及主机名映射

     

    1. 配置免密登陆
      1. 启动ssh服务

    Service sshd start

    1. 配置免密登录,更新公钥

     

    第二步:复制虚拟机,更改ip

     

    主机名和ip映射,分别配置56.2 主机名master56.3 主机名 slaver1,56.4 主机名slaver2

     

    第三步:上传jdkhadoophadoop用户目录

    使用sftp上传jdkhadoop的压缩包到hadoop用户目录下

     

    第四步:jdkhadoop配置

    1. 解压文件  

     

     

    1. 配置环境变量

     

     

    1. 配置hadoop文件
      1. core-site.xml

     

    2.hdfs-site.Xml

     

    1. mapred-site.xml

     

    1. Yarn-site.xml

     

    1. Slaver

     

    1. jdkhadoop文件分发到slaver1 slaver2

     

     

    1. master格式化hdfsnamenode 并且启动hdfs,使用jps验证启动

     

     

     

    三.遇到问题

    1.复制虚拟机后需要一个个更改ip包括映射等

    2.配置好之后启动 slaver1 slaver2 均没有Java环境,但是jdk已配好

    四.处理方式

    Slaver1 slaver2 配置成功环境变量但是启动时提示没有java环境的问题,解决方式是在master配置好之后,启动时显示6个进程,表示master主机hadoop文件已经全部配置,然后使用远程将 master配置好的 hadoop文件分发到slaver1slaver2

    总结:

    1. 此处配置主机名和ip映射时,直接将所有的全部配置,以便复制虚拟机时不需要继续修改
    2. 配置java环境时,确保系统本身没有已经安装好的jdk安装包,有则删除
    3. 配置好环境变量,需要使用 source使其生效
    4. 分发文件时,最好是将master配置好的hadoop文件分发过去,避免出现其他问题
    5. 启动成功后,master5个进程,slaver都只有2个进程
  • 相关阅读:
    HashMap的理解
    红黑树
    No constructor found matching
    会话 控制终端 setsid
    信息表示和处理 from computer system chapter 2
    tcp keepalive
    TCP 四步挥手
    CS 课程
    close vs shutdown socket
    Linux time总结
  • 原文地址:https://www.cnblogs.com/ningl666/p/13304251.html
Copyright © 2020-2023  润新知