• yarn-site.xml and mapred-site.xml 配置以及属性说明


    //启用yarn 作为资源管理框架
    <configuration>
        <property>
            <name>mapreduce.framework.name</name>
            <value>yarn</value>
        </property>
    </configuration>



    <configuration>

    <!-- Site specific YARN configuration properties -->

    //启用高可用

    <property>
       <name>yarn.resourcemanager.ha.enabled</name>
       <value>true</value>

     </property>

    // 定义集群的名称

     <property>
       <name>yarn.resourcemanager.cluster-id</name>
       <value>cluster1</value>

     </property>

    //为Resourcesmanager指定别名

     <property>
       <name>yarn.resourcemanager.ha.rm-ids</name>
       <value>rm1,rm2</value>
     </property>

     <property>

    // 为别名指定服务器id

       <name>yarn.resourcemanager.hostname.rm1</name>
       <value>bigdatastorm</value>
     </property>
     <property>
       <name>yarn.resourcemanager.hostname.rm2</name>
       <value>bigdatahadoop</value>
     </property>

     <property>

    // 指定zookeeper 服务器

       <name>yarn.resourcemanager.zk-address</name>
       <value>bigdataspark:2181,bigdatacloud:2181,bigdatahadoop:2181</value>

     </property>

    //启用mapreducer 的shuffle 功能

        <property>
            <name>yarn.nodemanager.aux-services</name>
            <value>mapreduce_shuffle</value>
        </property>

    </configuration>






  • 相关阅读:
    BigDecimal.setScale 处理java小数点
    JS判断用户手机是IOS还是Android
    h5 移动端 监听软键盘弹起、收起
    【java】查重类的实现
    MySQL ORDER BY IF() 条件排序
    版本回退
    Log4j 配置某个类中某个方法的输出日志到指定文件
    简单地实现文章的查重
    simhash算法
    mysql中 for update 使用
  • 原文地址:https://www.cnblogs.com/TendToBigData/p/10501453.html
Copyright © 2020-2023  润新知