java.lang.NoClassDefFoundError: com/sun/jersey/api/client/config/ClientConfig
spark任务提交出错。
原因:
spark-2.0后jersey升级到了ver2.x版本,但实际使用时还需要1.x。导致报错。
解决办法:利用maven或sbt进行打包,包含jersey依赖。得到jersey-bundle-1.17.1.jar
将jersey-bundle-1.17.1.jar加入$SPARK_HOME/jars目录,重启spark即可。
若完成拷贝后第一次启动错误依旧,则可以在spark-submit增加--jars参数,加入jersey-bundle-1.17.1.jar路径。以后就不需要了。
或者重新载入Spark的环境变量,进行依赖缓存刷新,亦可解决问题。
结论:
1、当前spark开发趋于稳定,但依然有众多遗留问题,多留意版本变更和更新日志,可及时得到信息更新。
2、spark目录下的jars依赖并不是实时更新,发生变动后,需要重新载入。
3、spark-env中SPARK_CLASSPATH变量,在spark1.0版本中使用,但在2.x版本已被弃用。虽然有效但可以通过其他多种方式进行配置。extra-classpath或者jars或者conf配置。