• 027 关于大数据中的分布集群的搭建


    一:准备

    1.集群的规划

      new01      new02        new03

      namenode        resourcemanager   secondarynamenode

      datanode      datanode       datanode

      nodemanager       nodemanager            nodemanager

      historyserver        

    2.克隆虚拟机

    二:修改克隆后的配置

    1.修改虚拟机主机名

      

    2.修改ip

       

    3.修改三台虚拟机的所有的 /etc/hosts和本地hosts

      

      

    4.修改第二台以及第三台虚拟机的mac

      

      

      

      

    5.重启网络

      

     

    6.重启

      reboot

    7.删除tmp临时文件

      

    三:部署集群

    8.规划目录,修改所属

      

     9.解压

      

    10.删除doc

      

    11.新建dfs的目录

      

    12.安装jdk(这一步已经不需要安装)

      

    13.配置env.sh的jdk环境

      

    14.配置core-site.xml

      

    15.修改hdfs-site.xml

      

    16.配置slaves

      

    17.配置yarn-site.xml

      

    18.配置mapreduce.site.xml

      

    19.在第二台和第三台上规划目录

      

    20.将安装包分发到各个节点上

      

    21.格式化

      只需要对namenode进行格式化,所以就只需要对第一台虚拟机进行格式化

      

    22.启动namenode以及datanode

      

      -------------注意点:权限

      

      -------------注意点:权限

      

    23.结果

      

    24.启动yarn

      下面的出现了错误,暂时不再截图修改了。、

      因为,resourcemanager这个服务被部署在第二台虚拟机上,但是这是在第一台虚拟机上也可以启动,但是,很快,jps时,应该不会再看到,

    因为,这个时候,resourcemanager会自动闭合。

      

      

      

     

      

      

  • 相关阅读:
    < java.lang >-- StringBuilder字符串缓冲区
    Integer对象
    < java.lang >-- StringBuffer字符串缓冲区
    < java.lang >-- String字符串
    单例设计模式:★★★★★
    线程同步 Lock接口
    POJ 3254 Corn Fields (状压dp)
    Codeforces 583D. Once Again... (LIS变形)
    Light oj 1005
    Codeforces 543D. Road Improvement (树dp + 乘法逆元)
  • 原文地址:https://www.cnblogs.com/juncaoit/p/5985294.html
Copyright © 2020-2023  润新知