• hadoop环境都配置好后,当运行sbin下的start-hdfs.sh时报WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform...错误


    一》原因

      hadoop进行一些操作,直接使用java库来操作不方便,所以引入本地库(Native Libraries)来操作,例如:应用场景如文件的压缩zlib,gzip等,在使用压缩时,Hadoop默认会从$HADOOP_HOME/lib/native/Linux-*目录中加载本地库。

      加载成功则提示:  

      DEBUG util.NativeCodeLoader - Trying to load the custom-built native-hadoop library... INFO util.NativeCodeLoader - Loaded the native-hadoop library 

      加载失败则提示:

      INFO util.NativeCodeLoader - Unable to load native-hadoop library for your platform... using builtin-java classes where applicable

    二》解决方案

      1>在Hadoop的配置文件core-site.xml中可以设置是否使用本地库:(Hadoop默认是启动本地库的)

    <property>
      <name>hadoop.native.lib</name>
      <value>true</value>
      <description>Should native hadoop libraries, if present, be used.</description>
    </property> 
    View Code

      2>在环境变量中设置使用本地库的位置:

      export JAVA_LIBRARY_PATH=/path/to/hadoop-native-libs

       (当遇到hadoop自带的本地库无法使用时,可以自己到hadoop下去编译本地库,在HADOOP_HOME目录下使用命令:ant compile-native编译完成后,可以在$HADOOP_HOME/build/native目录下找到相应的文件,然后指定文件的路径或者移动编译好的文件到默认目录下即可。)

     

      

  • 相关阅读:
    说一下AOP和IOC的实现原理
    sql 2005 express版本如果安装vs 2010则被sql 2008 express升级代替
    北京热死了
    Webservices,remoting,WCF比较一下
    CGI(拾遗)
    士农工商
    外网无法访问iis服务器
    好好整理了一下胡子
    用IIS在本机虚拟一个域名发布站点(小技巧)
    给目前自己开发的分布式系统做个定义
  • 原文地址:https://www.cnblogs.com/luoyaqi/p/5589889.html
Copyright © 2020-2023  润新知