• hadoop备战:一台x86计算机搭建hadoop的全分布式集群


    主要的软硬件配置:

    x86台式机,window7  64位系统
    vb虚拟机(x86的台式机至少是4G内存,才干开3台虚机)
    centos6.4操作系统
    hadoop-1.1.2.tar.gz
    jdk-6u24-linux-i586.bin
    WinScp 远程文件传输工具,非常好用。能够用于windows和虚拟机Linux之间文件相互拷贝。

    一、root下的配置

    a) 改动主机名:vi /etc/sysconfig/network

    Master,slave1,slave2

    b) 解析Ip: vi /etc/hosts 

    192.168.8.100 master

    192.168.8.101 slave1

    192.168.8.102 slave2

    c) 调试网络:

    採用网桥连接网络,配置网络。

    改动后记得调用 service network restart

    确保三台虚拟机可以相互ping通。

    d) 关闭防火墙

     查看:service  iptables  status

     关闭:service  iptables  stop

    查看防火墙有无自启动:

    Chkconfig –-list | grepiptables

        关闭自启动:

    Chkconfig  iptables  off

    二、yao用户下的配置

    a) 创建用户yao,设置password,进入用户

    useradd yao

    passwd 123456

    b) master创建公私秘钥

    ssh-keygen t rsa

    1)id_rsa.pub复制给authorized_keys

    Cp id_rsa.pub authorized_keys

    2)master中的authorized_keys复制给slave1/home

    scp id_rsa.pub root@192.168.8.101:/home

    3)master拷贝过来的authorized_keys拷贝到slave1本身所创的authorized_keys下,同理slave2的也是。最后达到任一个authorized_keys中都包括全部机组的公钥。

    4)hadoop拷贝拷贝到相应的机子中/home/yao/Documents/

    root下配置环境变量:vi /etc/profile

    export HADOOP_HOME=/home/yao/Documents/hadoop

    export HADOOP_HOME_WARN_SUPPRESS=1

    export PATH=.:$PATH:$HADOOP_HOME

    注:su + username实现切换用户。

    5)安装jdk,解压时须要授权;

    Chmod u+x jdk。。。

    解压。

    配置环境变量:vi /etc/profile

    6)改动/hadoop/conf下的配置文件

    改动core-site.xml


    改动hdfs-site.xml


    改动mapred-site.xml


    7)改动hadoop/conf/hadoop-evn.xml文件,这里指定jdk的路径。

    export JAVA_HOME=/usr/local/jdk

    8)改动/hadoop/conf/masters  slaves,相应协商虚拟机的名称,hadoop知道主机和datanode

    Masters:  Master

    Slavers:  Slave1   Slave2


    三、拷贝hadoop

    上述master中的hadoop配置基本完毕了,因为namenode节点上的hadoop配置是同样的,所以如今将master上的hadoop分别复制到slave1slave2上。

    命令:

    Scp -r ./hadoop yao@slave1/home/yao/

    Scp -r ./hadoop yao@slave2/home/yao/

    拷贝完毕后,在master机器上hadoop文件夹下运行:

    格式化:Bin/hadoop namenode -format 

    下一步,运行启动:

    Bin/start-all.sh


    slave1中,输入jps


    类似的在slave2中,输入jps,也能得到相同的结果:

    总结:

    配置这样的全分布式的hadoop集群,分为几个步骤:

    1)配置Hosts文件

    2)建立Hadoop执行账号

    3)配置ssh免password连入

    4)下载并解压hadoop安装包

    5)配置namenode,改动site文件

    6)配置hadoop-env.sh

    7)配置masters,slaves文件

    8)向个节点复制hadoop

    9)格式化namenode

    10)启动hadoop

    11)用jps检验各后台进程是否成功启动

    注:不能眼高手低,从装机開始,每一步都会遇到各种各样的问题须要解决。这是个熟悉指令和hadoop文件机制的过程。

    伪分布式

    伪分布式的搭建是很easy的,由于它是单一的节点,上述步骤仅仅须要:

    1)建立Hadoop执行账号

    2)配置ssh免password连入(单一节点,仅仅要将id_rsa.pub拷贝到authorized_keys中就能实现自身免password)

    3)下载并解压hadoop安装包

    4)下载jdk,并解压安装

    5)改动site文件

    6)配置hadoop-env.sh

    7)格式化namenode

    8)启动hadoop

    9)用jps检验各后台进程是否成功启动

    OK,基本上理解hadoop搭建的过程,伪分布和全分布都是非常easy的。

  • 相关阅读:
    拜师鸟哥之linux学习体会(1)——计算器概论
    LeetCode刷题1
    jupyter notebook直接打开.md格式的文件
    [图论]最短网络:prim
    [图论]最短网络:kruskal
    [图论]最优布线问题:kruskal
    A+B Problem
    [图论]最优布线问题:prim
    [图论]求连通分量
    [图论]连通图:深搜(邻接矩阵)
  • 原文地址:https://www.cnblogs.com/hrhguanli/p/3858874.html
Copyright © 2020-2023  润新知