• hadoop历史服务器配置问题




    作者:sdjnzqr
    出处:http://www.cnblogs.com/sdjnzqr/
    版权:本文版权归作者和博客园共有
    转载:欢迎转载,但未经作者同意,必须保留此段声明;必须在文章中给出原文连接;否则必究法律责任

    在mapred-site.xml中做如下配置:

    <configuration>
      <property>    
        <name>mapreduce.framework.name</name>    
        <value>yarn</value>    
      </property>   
      <property>    
        <name>mapreduce.jobtracker.system.dir</name>    
        <value>file:///home/hadoop/mapred/system</value>     
      </property>    
      <property>    
        <name>mapreduce.cluster.local.dir</name>    
        <value>file:///home/hadoop/mapred/local</value>      
      </property>
       <property>    
        <name>mapreduce.jobtracker.staging.root.dir</name>    
        <value>file:///home/hadoop/mapred/staging</value>      
      </property>
      <property>
      <name>mapreduce.jobhistory.address</name>
      <value>master:10020</value>
      </property>
      <property>
      <name>mapreduce.jobhistory.webapp.address</name>
      <value>master:19888</value>
      </property>
      <property>
    <name>yarn.app.mapreduce.am.staging-dir</name>
    <value>file:///home/hadoop/mapred/staging</value>
    </property>
    </configuration>

    发现此时运行mapreduce程序的时候报错:

    <P>Wrong FS: 
    file:/home/hadoop/mapred/staging/hadoop/.staging/job_1406217900097_0003, 
    expected: hdfs://master</P>

    原因是:yarn.app.mapreduce.am.staging-dir和mapreduce.jobtracker.staging.root.dir相同,导致的,去掉配置,即可解决问题。

    <configuration>
      <property>    
        <name>mapreduce.framework.name</name>    
        <value>yarn</value>    
      </property>   
      <property>    
        <name>mapreduce.jobtracker.system.dir</name>    
        <value>file:///home/hadoop/mapred/system</value>     
      </property>    
      <property>    
        <name>mapreduce.cluster.local.dir</name>    
        <value>file:///home/hadoop/mapred/local</value>      
      </property>
       <property>    
        <name>mapreduce.jobtracker.staging.root.dir</name>    
        <value>file:///home/hadoop/mapred/staging</value>      
      </property>
      <property>
      <name>mapreduce.jobhistory.address</name>
      <value>master:10020</value>
      </property>
      <property>
      <name>mapreduce.jobhistory.webapp.address</name>
      <value>master:19888</value>
      </property>
    </configuration>
  • 相关阅读:
    用webservice实现的一个天气预报程序
    让VS.net2005手机模拟器上网
    EVC4.0 PPC2003 Emulator 转中文版
    BSTR转CString
    在pocket pc 2003上播放声音
    VC++.net 2005 SmartDevice 屏幕转向
    c#.net2005 调用evc4.0生成的dll文件
    Json
    adb 命令模拟按键事件
    bat 截取字符
  • 原文地址:https://www.cnblogs.com/sdjnzqr/p/3865970.html
Copyright © 2020-2023  润新知