• hadoop-hdfs-完全分布式搭建


     给其余三台安装JDK:

     安装的历史步骤,查看自己执行过的命令:具体安装步骤:https://www.cnblogs.com/LXL616/p/10810738.html

    配置环境变量:

    export JAVA_HOME=/usr/java/jdk1.8.0_152
    export HADOOP_HOME=/opt/sxt/hadoop-2.7.2
    export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

     

     

     免秘钥:(管理脚本访问其他节点做的免秘钥):

     

     

     

     记得最后都要执行 exit 退出连接

     

     

     对其他两台进行相同的操作:

     

     

     

    设置四台虚拟机时间保证时间相同:

     我这边时间不一致所以要统一设置时间

     

     这样四台显示的时间就一样了

     

     

    接下来部署Hadoop:

     先将四台虚拟机都创建一个为Hadoop安装准备的目录

     

    进到配置文件目录:然后把上次的伪分布式的文件修改成完全分布式

     

    规划namenode 的启动位置

    core-site.xml 文件设置可以决定namenode 在哪里启动

     

     规划datanode 的启动位置

     slaves 文件规划datanode 的启动位置

     

     规划secondnamenode 的启动位置

     hdfs-site.xml 文件规划secondnamenode 的启动位置

     

     

     由于昨天已经搭建过伪分布式文件系统 这边 env 的Java路径就不需要修改了

    分发hadoop文件目录

     

     给其他两台同样的方式拷贝Hadoop目录

     

    格式化完全分布式文件系统

     

     

    这边dfs下只有name文件说明这里只有namenode

     启动分布式文件系统

    node01:

     node02:

     

     node03 node04

     

    图形化界面

     

     

  • 相关阅读:
    VUE 路由
    JS小表达式
    JS正则表达式
    react案例—实现组件之间的通信
    React脚手架搭建
    react属性三ref
    react属性二props
    java多线程2
    jvm小结2
    spark小结3
  • 原文地址:https://www.cnblogs.com/LXL616/p/10817495.html
Copyright © 2020-2023  润新知