形式:(参数)=> 表达式 [ 一种匿名函数 ]
例1:map(x => x._2)
解:x=输入参数,“=>” 右边是表达式(处理参数);
x._2 : x变为(**,x,**...)元组的第二个元素;
map ():将每一条输入参数映射为一个新的对象,在spark中会生成新的RDD,如下
flatmap ()对比
例2:filter(line=>line.split(",")=="Tom")- 过滤
解:先 line.split(“,”),将每一行按“,”拆分,再选择其中==“Tom”的元素,形成新RDD
例3:val list=List(1,2,3,4)
list.reduce(_+_)
解: reduce(_+_)的下划线是占位符,表当前元素;
reduce()将对两个元素操作返回一个元素
reduceByKey()
例4:collect()
例5:foreach()
其他RDD操作:
flatten
zip
fold
groupByKey
patch
drop
sort
........
参考:https://www.cnblogs.com/spec-dog/p/4813933.html