• Hadoop概念学习系列之搭建(windows)Eclipse/MyEclipse远程操作(Linux上)hadoop2.2.0/hadoop2.6.0 出错集(三十五)


      本博文,是在http://blog.csdn.net/u010911997/article/details/44099165  的基础上。感谢原博主!

    问题1:在DFS Lcation 上不能多文件进行操作:

    Hadoop上的每个节点上修改该文件       conf/mapred-site.xml

             增加: 

                       <property>

                       <name>dfs.permissions</name>

                       <value>false</value>

                       </property>

             关闭权限验证

    问题2

    log4j:WARN No appenders could be foundfor logger (org.apache.hadoop.metrics2.lib.MutableMetricsFactory).

    log4j:WARN Please initialize the log4jsystem properly.

    log4j:WARN Seehttp://logging.apache.org/log4j/1.2/faq.html#noconfig for more info.

    在src文件夹下创建以log4j.properties命名的文件

    文件内容如下

    log4j.rootLogger=WARN, stdout

    log4j.appender.stdout=org.apache.log4j.ConsoleAppender

    log4j.appender.stdout.layout=org.apache.log4j.PatternLayout

    log4j.appender.stdout.layout.ConversionPattern=%d%p [%c] - %m%n

    问题3

    Java.io.IOException: Could not locateexecutable null/bin/winutils.exe in the Hadoop binaries.

        缺少winutils.exe 下载一个添加进去就行

      下载地址  http://download.csdn.net/detail/u010106732/9630094

    问题4

    Exceptionin thread "main" java.lang.UnsatisfiedLinkError:org.apache.hadoop.util.NativeCrc32.nativeComputeChunkedSumsByteArray(II[BI[BIILjava/lang/String;JZ)V

        这是由于hadoop.dll 版本问题,2.2之前的和之后的需要的不一样

        需要选择正确的版本并且在 Hadoop/bin和 C:windowssystem32 上将其替换

    问题5

    Exception in thread "main"java.lang.UnsatisfiedLinkError:org.apache.hadoop.io.nativeio.NativeIO$Windows.access0(Ljava/lang/String;I)Z

        atorg.apache.hadoop.io.nativeio.NativeIO$Windows.access0(Native Method)

        at org.apache.hadoop.io.nativeio.NativeIO$Windows.access(NativeIO.java:557)

    目前未找到解决方法,只能修改源代码

     源代码下载  http://pan.baidu.com/s/1jGJzVSy

    将源代码放入 工程的src目录下并创建同样的包名,然后修改源代码

     

    源代码 未修改前

     

      publicstaticbooleanaccess(String path, AccessRight desiredAccess)

            throws IOException {

           return access0(path,desiredAccess.accessRight());

       }

     

     

    源代码 修改后

     

    public staticbooleanaccess(String path, AccessRight desiredAccess)

            throws IOException {

            return ture;

    //       return access0(path,desiredAccess.accessRight());

       }

     

    修改后编译成功,但是看不到软件运行时候的信息反馈。

     

     

     

     

     

     

     

    Eclipse/MyEclipse连接Hadoop集群出现:Unable to ... ... org.apache.hadoop.security.AccessControlExceptiom:Permission denied问题

  • 相关阅读:
    Web大前端面试题-Day12
    Web大前端面试题-Day11
    每天刷Web面试题(前10天汇总)
    Web大前端面试题-Day10
    Web大前端面试题-Day9
    Web大前端面试题-Day8
    Web大前端面试题-Day5
    Web大前端面试题-Day7
    Web大前端面试题-Day6
    php获取时间是星期几
  • 原文地址:https://www.cnblogs.com/zlslch/p/6053970.html
Copyright © 2020-2023  润新知