• hadoop集群配置全过程


    一、nat配置
    1、虚拟机-》编辑-》虚拟网络编辑器-》更改设置-》移除原VMnet8-》加新的VMnet8-》点击NAT模式
    桥接模式-》NAT模式,初始化一下NAT模式
    2、编辑/etc/sysconfig/network-scripts/ifcfg-eth0
    DEVICE="eth0"
    BOOTPROTO="static"
    NM_CONTROLLED="yes"
    ONBOOT="yes"
    TYPE="Ethernet"
    IPADDR=192.168.126.10 #看虚拟机
    NETMASK=255.255.255.0
    GATEWAY=192.168.126.2 #看虚拟机
    DNS1=202.106.0.20
    3、/etc/init.d/network restart 重启网络

    二、hadoop安装
    1、挂起虚拟机-》复制虚拟机文件-》打开虚拟机
    2、slave分机
    编辑/etc/sysconfig/network-scripts/ifcfg-eth0
    DEVICE="eth0"
    BOOTPROTO="static"
    NM_CONTROLLED="yes"
    ONBOOT="yes"
    TYPE="Ethernet"
    IPADDR=192.168.126.11 #看虚拟机
    NETMASK=255.255.255.0
    GATEWAY=192.168.126.2 #看虚拟机
    DNS1=202.106.0.20
    3、/etc/init.d/network restart 重启网络
    4、虚拟机删除网卡再添加网卡
    5、master虚拟机与windows文件共享设置 jdk-6u45-linux-x64.bin、hadoop-1.2.1-bin.tar.gz
    /mnt/hgfs/ 下有了共享目录
    6、./jdk-6u45-linux-x64.bin 安装jdk
    添加全局变量 ~/.bashrc
    export JAVA_HOME=/usr/local/src/jdk1.6.0_45
    export CLASSPATH=.:$CLASSPATH:$JAVA_HOME/lib
    export PATH=$PATH:$JAVA_HOME/bin
    source ~/.bashrc 重启全局变量
    7、远程复制文件:scp -rp jdk-6u45-linux-x64.bin 192.168.126.11:/usr/local/src/
    8、slave分机重复第六步

    9、master主机解压hadoop-1.2.1-bin.tar.gz
    cd hadoop-1.2.1
    mkdir tmp
    cd conf
    vim master :内容为master
    vim slaves :内容为
    slave1
    slave2
    vim core-site.xml : 内容为
    <configuration>
    <property>
    <name>hadoop.tmp.dir</name>
    <value>/usr/local/src/hadoop-1.2.1/tmp</value>
    </property>
    <property>
    <name>fs.default.name</name>
    <value>hdfs://192.168.126.10:9000</value>
    </property>
    </configuration>
    vim mapred-site.xml :内容为
    <configuration>
    <property>
    <name>mapred.job.tracker</name>
    <value>http://192.168.126.10:9001</value>
    </property>
    </configuration>
    vim hdfs-site.xml :内容为
    <configuration>
    <property>
    <name>dfs.replication</name>
    <value>3</value>
    </property>
    </configuration>
    vim hadoop-env.sh :最后添加
    export JAVA_HOME=/usr/local/src/jdk1.6.0_45

    10、本地网络配置master和slave都要配置
    vim /etc/hosts
    192.168.126.10 master
    192.168.126.11 slave1
    192.168.126.12 slave2
    vim /etc/sysconfig/network
    HOSTNAME=master(根据机器填写:slave1/slave2)
    hostname master(根据机器填写:slave1/slave2)

    11、hadoop复制到分机
    scp -rp hadoop-1.2.1 192.168.126.11:/usr/local/src/
    scp -rp hadoop-1.2.1 192.168.126.12:/usr/local/src/

    12、关闭防火墙(每台机器都要执行)
    /etc/init.d/iptables stop
    setenforce 0 #关闭selinux

    三、master、slave建立互信关系
    ssh-keygen #回车回车
    cd ~/.ssh
    cat id_rsa.pub > authorized_keys #公钥文件copy
    把slave1的公钥slave2的公钥添加到authorized_keys 并把authorized_keys 复制到分机上

    ssh slave1 ssh slave2 ssh master 进行验证互信关系

    四、启动hadoop集群
    cd /usr/local/src/hadoop-1.2.1/bin/
    ./hadoop namenode -format #初始化
    ./start-all.sh #启动
    jps #查看进程(每台机器查看)
    ./hadoop fs -put /etc/passwd / #往集群里写文件
    ./hadoop fs -ls / #查看集群里的文件

    If the copyright belongs to the longfei, please indicate the source!!!
  • 相关阅读:
    量化交易,量化分析推荐书单
    韭菜笔记 读《韭菜的自我修养》后感
    Markdown编辑器使用说明
    性能测试工具Locust,一个开源性能测试工具
    Selenium自动化测试,接口自动化测试开发,性能测试从入门到精通
    WebSocket和long poll、ajax轮询的区别,ws协议测试
    docker Dockerfile指令ADD和COPY的区别,添加目录方法
    证券化代币的时代已经到来,STO将引爆区块链经济
    jar包读取jar包内部和外部的配置文件,springboot读取外部配置文件的方法
    android安全检测工具,梆梆安全
  • 原文地址:https://www.cnblogs.com/longfeiPHP/p/11350565.html
Copyright © 2020-2023  润新知