• 配置Hadoop1.2.1


    1.从Apache官网上下载1.2.1,地址:http://apache.dataguru.cn/hadoop/common/
    2.拷贝文件到虚拟机下(vm9下直接拖拽就可以)
    3.到Hadoop的目录下的conf找到hadoop-env.sh,找到这行:# export JAVA_HOME=/usr/lib/j2sdk1.5-sun,解注并改成JAVA正确的路径
    4.修改core-site.xml。默认只有,需要修改成为:


    fs.default.name
    hdfs://master:9000


    hadoop.tmp.dir
    /home/master/hadoop-1.2.1/tmp


    注:要在hadoop下新建tmp文件夹,用于存放临时文件,如果不设置,hadoop默认成/tmp文件夹,这样重启后hadoop就会报错
    5.修改hdfs-site.xml.默认只有,需要修改成为:


    dfs.replication
    2



    6.修改mapred-site.xml.默认只有,需要修改成为:


    mapred.job.tracker
    master:9001



    7.修改masters,改成master(主机名)

    8.修改slaves,改成slave1(主机名)

    9.切换到root用户下,修改/etc/hosts文件,增加master和slave1的IP
    192.168.37.1    master
    192.168.37.2    slave1

    10.配置完成之后,ping master和ping slave1

    11.把master节点下配置好的hadoop复制到slave1节点下:scp -r ./hadoop-1.2.1 slave1@slave1:/home/slave1

    12.修改slave1节点下的/etc/hosts文件和master节点一致
    192.168.37.1    master
    192.168.37.2    slave1

    13.格式化名称节点,即master节点,切换到hadoop目录,执行命令:bin/hadoop namenode -format

    14.在正式启动hadoop之前,要把自己的公匙放到authorized_keys,这样自动连自己才会不用输入密码。方法是:
    cat id_rsa.pub 然后把里面的内容复制出来,vi authorized_keys 把内容粘到里面,保存;两台机器都一样的做法。

    15.改完之后,ssh master,看看是否还需要密码

    16.如果之前已经运行过启动hadoop,但因为14没有做,需要把hadoop的进程杀掉,方法:进行JAVA主目录,
    运行./bin/jps命令,看有哪些hadoop的进程在运行,然后用kill -9 11133把屏幕显示的进程杀掉,这样才能顺利的启动。

    17.最后启动:bin/start-all.sh

    18.检查hadoop是否安装成功:在JDK目录下运行-bin/jps,出现
    11002 SecondaryNameNode
    10832 NameNode
    11076 JobTracker
    11237 Jps
    说明安装成功









     
     
  • 相关阅读:
    Hi3519v101-uboot-start.S分析
    广告文案:用文案讲好故事的广告是如何做?
    socket技术详解(看清socket编程)
    一张非常强大的OSI七层模型图解。。。
    为什么计算机和一些电子产品的时间选择在1970.1.1
    内存(RAM或ROM)和FLASH存储的真正区别总结
    MDK 的编译过程及文件类型全解
    MDK4 如何生成bin文件
    10种AD采样的软件滤波方法及算法
    Cotex-M3内核LPC17xx系列时钟及其配置方法
  • 原文地址:https://www.cnblogs.com/chen-lhx/p/6867109.html
Copyright © 2020-2023  润新知