zip这个函数是在scala中的,spark中也应用于RDD类型
1 val posLeftRDD = FreqDic1.map(line => line._1) zip sc.parallelize(Range(0, broadforwardDic.value.length))
RDD 也自带zip的transform操作:
rdd1.zip(rdd2)
注意rdd1.count()应该和rdd2.count()的大小是一样的,不然报错
zip这个函数是在scala中的,spark中也应用于RDD类型
1 val posLeftRDD = FreqDic1.map(line => line._1) zip sc.parallelize(Range(0, broadforwardDic.value.length))
RDD 也自带zip的transform操作:
rdd1.zip(rdd2)
注意rdd1.count()应该和rdd2.count()的大小是一样的,不然报错