sbt打包Scala写的Spark程序,打包正常,提交运行时提示找不到对应的类
详述
- 使用sbt对写的Spark程序打包,过程中没有问题
- spark-submit提交jar包运行提示找不到对应的类
解决
- 编译环境没有变化,将代码拷贝到其他项目下打包可以运行,无解
- 偶然发现IDEA打开的sbt文件显示很多错误,查看详情发现存在错误:java-lang-ClassNotFoundException-org-jetbrain,遂谷歌之,找到了这个网页 ,说是IDEA的bug,打开use sbt shell for build and import选项就好了。尝试之,解决。
- 另外,Scala中类package object xxxx是创建object默认的写法,把package要去掉
参考
- https://intellij-support.jetbrains.com/hc/en-us/community/posts/115000671044-What-is-estimate-to-support-SBT-1-0-x-or-java-lang-ClassNotFoundException-org-jetbrains-sbt-CreateTasks-
- https://intellij-support.jetbrains.com/hc/en-us/community/posts/206633295-SBT-0-13-9-fail-java-lang-ClassNotFoundException-org-jetbrains-sbt-ReadProject-