• hadoop完全分布式搭建


    Overview:过程有很多帖子都解释了如何搭建,本文主要列举需要做的事情,然后在文末提供一个非常详细的搭建教程,方便大家使用。

    我这里是使用了3台服务器搭建分布式平台,每台机子都需要配置java的开发环境,hadoop的四个XML文件,host名称和profile配置文件,特别需要注意的是master节点需要在/etc/hadoop目录下配置slave文件(配置节点信息,不然主机启动,slave节点不会启动),master节点需要配SSH免密码登录。

    另外需要注意的是,每台机子配的hadoop的环境其实是一模一样的,装好一台,复制过去就行。master节点在加一些特殊配置就ok了

    基础环境

        Euler2.1   192.168.0.1    master

       Euler2.1   192.168.0.2    slave1

       Euler2.1   192.168.0.3    slave2

    一、三台机子都要配的JAVA,XML*4,host,profile

           1.master节点先配一下java的环境,网上资料很多

           2.先后配置core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.xml、host、profile,具体参考文末给出的文档

      3.分别从其他slave节点复制hadoop和java环境

          scp -r root@192.168.0.1:/root/zhn_hadoop/hadoop  /root/zhn_hadoop/

    二、master配置slave文件和免密登录

      1.master节点在hadoop/etc/hadoop/slave文件需要配置主从信息

        192.168.0.1 master

        192.168.0.2 slave1

        192.168.0.3 slave2

      2.SSH免密登录参考文末文件【配置SSH】

    完全分布式搭建教程:

        

  • 相关阅读:
    hdu 2044 一只小蜜蜂
    HDU 2041 超级楼梯
    卡特兰数
    hdu 1267 下沙的沙子有几粒?(二维递推题)
    大数加法、乘法
    学习时仪式感太强是不是不太好
    php记日志
    cygwin安装apt-cyg
    存储过程死循环之后的清理
    linux的计划任务crontab
  • 原文地址:https://www.cnblogs.com/zjuthantics/p/9264800.html
Copyright © 2020-2023  润新知