• hadoop完全分布式安装教程


    环境说明

      集群中有三个节点:一个Master,两个Slave。

      节点的IP地址分别为:

                Master:192.168.140.132

                Slave1:192.168.140.133

                Slave2:192.168.140.134

      可以通过ifconfig查看自己虚拟机的IP地址。

    网络配置

      修改自己各个节点的主机名

        vi /etc/sysconfig/network

        

      修改节点的IP映射

         vi /etc/hosts

        

      重启虚拟机

        sudo reboot

      以上操作同时要在另外两个节点上配置

    配置SSH免密登录

      cd ~/.ssh

      #删除之前的公钥

      rm ./id_rsa*

      #生成公钥,然后一直按回车

      ssh-keygen -t rsa

      cat ./id_rsa.pub >> ./authorized_keys

      #修改权限

      chmod 600 authorized_keys

       #验证

      ssh Master

      

       #将Master节点上公钥传输到另外两个节点上

      scp ~/.ssh/id_rsa.pub stu@Slave1:/home/hadoop/

      scp ~/.ssh/id_rsa.pub stu@Slave1:/home/hadoop/

      #在Slave1、Slave2上将上述公钥加入授权

      cat ~/id_rsa.pub >> ~/.ssh/authorized_keys

      cd ~/.ssh/

      chmod 600 authorized_keys

    安装JDK,配置环境变量

      分别在Master、Slave1、Slave2上安装JDK环境

        cd /usr/local

        tar -zxvf JDK-(看你虚拟机是32位的还是64位的,下载对应的安装包)

      配置JAVA_HOME环境变量

        vi ~/.bashrc

        #在最后一行添加

        export JAVA_HOME=(你JDK的安装位置)

        export PATH=$JAVA_HOME/bin:$PATH:

        #使环境变量配置生效

        source ~/.bashrc

      验证

        java -version

        

     安装配置hadoop

      在Master节点上

       #进入到你压缩包的位置,并解压

       cd /usr/local

       tar -zxvf  hadoop-2.7.2.tar.gz

       #将文件夹名修改位hadoop

       mv hadoop-2.7.2 hadoop

       #修改文件权限

       chmon -R stu:stu hadoop

       #修改环境变量

       vi ~/.bashrc

       #添加以下内容

       

       #使配置生效

       source ~/.bashrc

     修改五个配置文件

      /usr/local/hadoop/etc/hadoop/slaves

      

      /usr/local/hadoop/etc/hadoop/core-site.xml添加

      

       /usr/local/hadoop/etc/hadoop/hdfs-site.xml添加

      

        /usr/local/hadoop/etc/hadoop/mapred-site.xml添加

      

        /usr/local/hadoop/etc/hadoop/yarn-site.xml添加

      

       完成后分别将hadoop文件夹和bashrc文件发送到Slave1、Slave2节点上

        sudo scp -r /usr/local/hadoop Slave1:/usr/local/

        sudo scp -r /usr/local/hadoop Slave2:/usr/local/

        scp /home/hadoop/.bashrc stu@Slave1:/home/hadoop/

        scp /home/hadoop/.bashrc stu@Slave2:/home/hadoop/

      接着进入Slave1、Slave2进行下面的操作

        

       最后在Master节点上进行格式化

      hdfs namenode -format

      

     启动集群

      在Master节点上start-all.sh

      在Master、Slave1、Slave2上输入jps检查

      

       

      

       进入Master:50070查看

      

     到此,hadoop完全分布式搭建成功。

      

         

  • 相关阅读:
    2018-8-10-win10-uwp-读取保存WriteableBitmap-、BitmapImage
    2018-8-10-win10-uwp-读取保存WriteableBitmap-、BitmapImage
    字节流与字符流的区别详解
    Java线程之 InterruptedException 异常
    java 线程的几种状态
    C++中 引用&与取地址&的区别
    百度富文本编辑器ueditor在jsp中的使用(ssm框架中的应用)
    CodeForces
    CodeForces
    训练记录
  • 原文地址:https://www.cnblogs.com/xiaoxiangzhumm/p/13782062.html
Copyright © 2020-2023  润新知