运行spark测试程序出现如下错误信息:
Exception in thread "main" java.lang.NoSuchMethodError: scala.Product.$init$(Lscala/Product;)V
at org.apache.spark.SparkConf$DeprecatedConfig.<init>(SparkConf.scala:809)
at org.apache.spark.SparkConf$.<init>(SparkConf.scala:642)
at org.apache.spark.SparkConf$.<clinit>(SparkConf.scala)
at org.apache.spark.SparkConf.set(SparkConf.scala:94)
at org.apache.spark.SparkConf.set(SparkConf.scala:83)
at org.apache.spark.SparkConf.setAppName(SparkConf.scala:120)
at com.spark.HiveContextTest.main(HiveContextTest.java:9)
当前iidea引入的scala运行环境版本与idea默认的scala版本不一样
把scala sdk版本改为2.11
应用该设置,重新运行还不OK,如果你的项目是maven管理依赖,在pom文件中检查spark对应的scala版本,spark和scala它两的版本要一致。