• hadoop全分布式的搭建


    修改主机名:vim /etc/sysconfig/network

    1 修改 hadoop-env.sh

     

    2 修改core-site.xml

     

    /hadoop/tmpdir: 产生 namenodefsimasage edits文件 合并元数据

    3 修改 hdfs-site.xml

     

    4 yarn-site.xml

    <property>

    <name>yarn.resourcemanager.scheduler.address</name>

    <!--RPC的地址,并且用于分配资源的端口 -->

    <value>haha:8030</value>

    </property>

    ResourceManager: ---->     application manager(服务)          appMasterRM-container()

                             Scheduler:    专注于:AM----->RM (资源)

     

    5 mapred-site.xml

     

    6 修改 slaves   (从节点指定出来)

     

    从节点配置三台

    7  分发

     scp -r hadoop/ root@Linux03:/root/Downloads/hadoop-2.6.5/etc/

    8 把集群进行格式化:hdfs namenode -format

    9 免密:  ssh-keygen -t rsa ---->.ssh (删除)  

    9.1 配置haha -->Linux02   ssh-copy-id Linux02    haha->Linux03  Linux02->haha    Linux02-Linux03   Linux03 ->haha  Linux03 --->02

       自己:ssh-copy-id 自己

    10启动 机器  :  start-all.sh  (hdfs,yarn)  start-dfs.sh     start-yarn.sh

    11 web上查看启动的进程

    Hdfs:--->主机名:50070

    Yarn ---->主机名:8088

  • 相关阅读:
    Jane Austen【简·奥斯汀】
    I Like for You to Be Still【我会一直喜欢你】
    Dialogue between Jack and Rose【jack 和 Rose的对话】
    git删除远程.idea目录
    码云初次导入项目(Idea)
    DelayQueue 订单限时支付实例
    eclipse安装spring的插件
    redis安装命令
    log4j详解
    jstree API
  • 原文地址:https://www.cnblogs.com/sx66/p/10681216.html
Copyright © 2020-2023  润新知