• 配置YARN


    1.配置yarn-site.xml(所有节点)
      路径:
        /usr/local/hadoop-2.7.3/etc/hadoop/yarn-site.xml
      配置项:
        <property>
          <!-- 指明resourcemanager在什么地方 -->
          <name>yarn.resourcemanager.hostname</name>
          <value>master</value>
        </property>

        <property>
          <name>yarn.nodemanager.aux-services</name>
          <value>mapreduce_shuffle</value>
        </property>

        <property>
          <name>yarn.nodemanager.auxservices.mapreduce.shuffle.class</name>
          <value>org.apache.hadoop.mapred.ShuffleHandler</value>
        </property>
    2.配置mapred-site.xml(所有节点)
      路径:
        /usr/local/hadoop-2.7.3/etc/hadoop/mapred-site.xml
      配置项目:
        <property>
          <!-- 指明mapreduce跑在什么框架上,不配默认本机 -->
          <name>mapreduce.framework.name</name>
          <value>yarn</value>
        </property>
      说明:
        默认没有mapred-site.xml文件,但是有一个mapred-site.xml.template,cp改名一个就好了
    3.单独启动YARN
      在每个节点上执行:yarn-daemon.sh
    4.一键启动YARN
      在master上执行:start-yarn.sh
    5.Web监控地址(8088端口)
      http://192.168.0.104:8088/cluster
      如果启动不成功,参看"启动hadoop集群"里面写的"一键式启动"那里的配置,原理是一样的,这里也要配
    6.查看每个node的配置,以及配置来源
      http://nodemanageraddress:8042/conf
      例如:http://192.168.0.105:8042/conf

    备注:

      yarn-site如果是集中启动,其实只需要在管理机上配置一份即可,但是如果单独启动,需要每台机器一份

  • 相关阅读:
    keys命令的缺点
    redis与memcache的区别
    sql与nosql如何选择?
    MongoDB与MySql的区别
    linux环境搭建系列之memcached安装步骤
    linux环境搭建系列之tomcat安装步骤
    linux环境搭建系列之Apache ant安装步骤
    linux环境搭建系列之jdk安装
    虚拟机安装教程(linux、centOS)
    memcached解压报错gzip: stdin: not in gzip format tar: Child returned status 1 tar: Error is not recoverable: exiting now的解决方法
  • 原文地址:https://www.cnblogs.com/413xiaol/p/9961022.html
Copyright © 2020-2023  润新知