• hadoop安装以及集群搭建


    准备工作:一个安装了Java的linux系统,和hadoop-1.2.1-bin.tar.gz安装包

    1.将hadoop-1.2.1-bin.tar.gz文件解压到/usr/local/src文件中

    2.cd /hadoop-1.2.1中,创建一个临时文件:mkdir tmp

    3.进入hadoop的配置文件目录中:cd /conf

    4.修改core-site.xml文件:vim core-site.xml

     5.修改mapred-site.xml文件:vim mapred-site.xml

     6.修改hadoop-env.sh文件:vim hadoop-env.sh,把java环境配置进去

     7.然后修改hosts文件,vim /etc/hosts,其中ip为主机master的ip,slave1的ip,slave2的ip,然后hostname master

     8.长久修改名称的方法,还要修改/etc/sysconfig/network:vim /etc/sysconfig/network

    9.关掉防火墙:/etc/init.d/iptables stop

    10.将机器复制两份,并将hostname中的节点ip配置进ifcfg-etch0的文件中,配置完后先看能否联网

    11.配置matser与从节点之间的无秘访问,首先在三台机器上都生成密钥:ssh-keygen,然后进入~/.ssh中

    12.再在master上的~/.ssh文件中创建文件,authorized_keys,并将三个文件的公钥文件,id_rsa.pub,里面的内容复制到authorized_keys中

    13.将authorized_keys文件通过scp -rp authorized_keys slave1:~/.ssh,将文件拷贝进从节点中

    14.然后使用ssh slave1,进行验证

    15.所有操作完成后开始启动hadoop,进入hadoop文件的bin文件中,首先使用./hadoop namebode -format格式化名称节点,然后使用./start-all.sh启动所有节点,如果启动成功,使用jps可以看到:

     这些节点处于运行状态。如果启动失败,或者namenode没有启动,就要仔细排查,core-site.xml,mapred-site.xml等文件有没有问题,如果没有,就使用./stop-all.sh停掉所有节点,并再次使用./hadoop namebode -format命令进行格式化,再启动

     

  • 相关阅读:
    在windows上使用win2000资源工具
    Apache与Tomcat整合
    web服务器和应用服务器概念比较
    linux定时删除N天前的文件(文件夹)
    程序员如何自我学习和成长?
    20210708总结
    Docker 常用命令!还有谁不会?
    Redis常用命令set
    laravel与thinkphp之间的区别与优缺点
    2021年7月总结
  • 原文地址:https://www.cnblogs.com/SoftwareBuilding/p/14209082.html
Copyright © 2020-2023  润新知