org.apache.spark.sql.catalyst.analysis.UnresolvedException: Invalid call to dataType on unresolved object, tree: 'goodsid
出错部分代码:
Column column_combine = concat_ws(separator,JavaConverters.asScalaIteratorConverter(combineColumn.iterator()).asScala().toSeq()).as(columnName);
df_result = dataset.toDF().select(lit(column_combine));
今天把scala改为java代码的时候出现此问题,百度谷歌一堆解决方案有两个。
1.换一种写法,利用spark sql去执行(但是我想利用dataset去执行)
2.方法升级spark版本(这个貌似属于spark的一个bug,测试了2.1--2.3都是出错,用了2.4恢复正常)