现象:
代码如下
打印出来结果为
原因:
序列化出现了问题,这里我在前面引用的Encoder 是
implicit val odsClewordPacakgesBeanEncoder = org.apache.spark.sql.Encoders.kryo[DimIdpCourseStructInfoBean]
DimIdpCourseStructInfoBean 是自定义的样例类
解决方法
更换Encoder,
implicit val odsClewordPacakgesBeanEncoder = org.apache.spark.sql.Encoders.kryo(DimIdpCourseStructInfoBean.getClass)
注意,如果传参为 classOf[DimIdpCourseStructInfoBean],结果一样不行,原因还不是很明白。