• eclipse连接远程hadoop集群开发时0700问题解决方案


    eclipse连接远程hadoop集群开发时报错

    错误信息:

    Exception in thread "main" java.io.IOException:Failed to set permissions of path: mphadoop-yscmapredstagingysc-2036315919.staging to 0700

    解决方案(经笔者在hadoop1.2.0+jdk1.7下验证通过):

    0.安装jdk,ant,并且配置好环境变量

    安装配置jdk不再多说,ant参考我的文章:
    http://blog.csdn.net/shan9liang/article/details/8948646


    1.首先到官网上把该版本hadoop的tar包下载下来,并解压到$HADOOP_HOME目录下

    2.修改hadoop-1.2.0srccoreorgapachehadoopfs下的FileUtil类
    private static void checkReturnValue(boolean rv, File p, 
                                           FsPermission permission
                                           ) throws IOException {
        if (!rv) {
          throw new IOException("Failed to set permissions of path: " + p + 
                                " to " + 
                                String.format("%04o", permission.toShort()));
        }
      }

    将这个抛异常操作注释掉或者 throw new IOException 改为 LOG.warn

    3.进入到$HADOOP_HOME/src目录中,修改saveVersion.sh文件,因为原saveVersion.sh生成的package-info.java有问题。更正内容为:

    user=`whoami` #此处修改成固定值,如user=jialin

    3、修改$HADOOP_HOMEuild.xml,搜索autoreconf,移除匹配的6个executable="autoreconf"的exec配置 ,如: <exec executable="autoreconf" 
              dir="${c++.task-controller.src}"
              searchpath="yes" failonerror="yes">
          <arg value="-i"/>
        </exec>
        
       共有6处,将该语言块删除

    4、 修改hadoop安装目录下的uild.xml   指定java版本<property name="javac.version" value="1.6"/>   如是1.7就改为1.7

    5、在命令行切换到$HADOOP_HOME,执行ant

    6、用新生成的$HADOOP_HOMEuildhadoop-core-1.*.*-SNAPSHOT.jar替换nutch的hadoop-core-*.*.*.jar



  • 相关阅读:
    华为软件开发云评测
    个人技术博客(α)
    结对第二次作业
    结对第一次作业----部门通
    数独设计
    2017软件工程实践第一次作业
    Alpha冲刺博客集
    个人作业——软件工程实践总结作业
    用户使用调查报告
    总结随笔(Beta)
  • 原文地址:https://www.cnblogs.com/jiangu66/p/3237060.html
Copyright © 2020-2023  润新知