1、java.lang.UnsatisfiedLinkError: org.apache.hadoop.util.NativeCodeLoader.buildSupportsSnappy()Z
这个问题是因为本地库没有加载上。在spark-env.sh中加上:
export JAVA_LIBRARY_PATH=$JAVA_LIBRARY_PATH:$HADOOP_HOME/lib/native
export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:$HADOOP_HOME/lib/native
export SPARK_YARN_USER_ENV="JAVA_LIBRARY_PATH=$JAVA_LI:BRARY_PATH,LD_LIBRARY_PATH=$LD_LIBRARY_PATH"
2、spark的GangliaSink 无法初始化,按理说,如果不用的话,就不会加载,但是spark1.5还是加载了这个类,如果打包的时候没有打包进去的话,就会报初始化错误的问题:metrics.MetricsSystem: Sink class org.apache.spark.metrics.sink.GangliaSink cannot be instantialized
所以打包的时候加上:-Pspark-ganglia-lgpl
3、找不到lzo的问题,在spark-env.sh中加入:
export SPARK_CLASSPATH=$SPARK_CLASSPATH:${HADOOP_HOME}/share/hadoop/common/lib/hadoop-lzo-0.4.19.jar