• Yarn篇--搭建yarn集群


    一。前述

    有了上次hadoop集群的搭建,搭建yarn就简单多了。废话不多说,直接来

    二。规划

     三。配置如下

    yarn-site.xml配置

     <property>
            <name>yarn.nodemanager.aux-services</name>
            <value>mapreduce_shuffle</value>//定义yarn的机制
        </property>
    <property>
       <name>yarn.resourcemanager.ha.enabled</name>//是否使用HA
       <value>true</value>
     </property>
     <property>
       <name>yarn.resourcemanager.cluster-id</name//集群Id
       <value>cluster1</value>
     </property>
     <property>
       <name>yarn.resourcemanager.ha.rm-ids</name>//集群逻辑节点
       <value>rm1,rm2</value>
     </property>
     <property>
       <name>yarn.resourcemanager.hostname.rm1</name>//集群物理节点
       <value>node03</value>
     </property>
     <property>
       <name>yarn.resourcemanager.hostname.rm2</name>//集群物理节点
       <value>node04</value>
     </property>
     <property>
       <name>yarn.resourcemanager.zk-address</name>//与zookeeper通信
       <value>node02:2181,node03:2181,node04:2181</value>
     </property>


    mapred-site.xm配置
    <property>
            <name>mapreduce.framework.name</name>//使用yran
            <value>yarn</value>
      </property>
    PS  :slaves中既是datanode配置同时也是nodemanger的配置

    四。配置免密

    同样需要配置resourcemange到nodemanager的免密 和两个resourcemanger的免密
    五。启动顺序
    养成一个好习惯,先把集群停掉,然后再添加配置,(其实不停也行)

    先在node01节点上手动先启动hdfs集群start-dfs.sh

    node01然后再启动yarn集群 start-yarn.sh(Nodemanager也是由slaves文件管理)

    然后再在node03和node04手动启动resourcemanger

    yarn-daemon.sh start resourcemanager

    六。验证

    自此集群搭建成功!!!

    持续更新中。。。。,欢迎大家关注我的公众号LHWorld.

  • 相关阅读:
    又快又准的sql瓶颈诊断方法
    Qps从300到1500的优化过程
    Mysql性能优化全揭秘-庖丁解牛
    java学习笔记16-抽象类
    java学习笔记15-封装
    java学习笔记14-多态
    java学习笔记13-重写与重载
    Git学习笔记08-远程仓库
    Python3+Appium学习笔记09-元素定位android_uiautomator
    Python3+Appium学习笔记08-元素定位
  • 原文地址:https://www.cnblogs.com/LHWorldBlog/p/8219453.html
Copyright © 2020-2023  润新知