[Spark] 关于函数 combineByKey

combineByKey:

Generic function to combine the elements for each key using a custom set of aggregation functions.

概述

.combineByKey 方法是基于键进行聚合的函数（大多数基于键聚合的函数都是用它实现的），所以这个方法还是挺重要的。

我们设聚合前Pair RDD的键值对格式为：键为K，键值格式为V；而聚合后，键格式不便，键值格式为C。

combineByKey函数的定义为：

combineByKey(createCombiner, mergeValue, mergeCombiners, numPartitions=None, partitionFunc=<function portable_hash at 0x7fc35dbc8e60>)

该函数的参数主要为前三个：

• createCombiner
• mergeValue
• mergeCombiners

示意图如下：

一个例子

还是先看一个例子，暂时看不懂可以先看下面再回来。

>>> test = sc.parallelize([('panda', (1,2)), ('pink',(7,2)), ('pirate',(3,1))])
>>> xx = test.combineByKey((lambda x : (x,1)),
...                     (lambda x,y: (x[0] + y, x[1]+ 1)),
...                     (lambda x,y : (x[0] + y[0], x[1] + y[1])) )
>>> xx.collect()
[('coffee', (3, 2)), ('panda', (3, 1))]

这里，三个参数分别用了3个lambda表达式代替，分别为：

• createCombiner ： lambda x : (x,1)
• mergeValue ： lambda x , y : (x[0] + y , x[1] + 1 )
• mergeCombiners ： lambda x , y : (x[0] + y[0], x[1] + y[1])

下面解释这三个参数。

createCombiner

由于聚合操作会遍分区中所有的元素，因此每个元素（这里指的是键值对）的键只有两种情况：

• 以前没出现过
• 以前出现过

如果以前没出现过，则执行的是createCombiner方法；否则执行mergeValue方法，即：

.createCombiner()会在新遇到的键对应的累加器中赋予初始值。

该函数在格式上是由 V -> C 的，在上面的例子里面，是由 整数类型 -> 二元元组类型，这个二元元组第二个元素为1。

mergeValue

对于已经出现过的键（key），调用mergeValue来进行聚合操作，对该键的累加器对应的当前值（C格式）于这个新的值（V格式）进行合并。

mergeCombiners

如果有两个或者更多的分区（这里的例子里没提到）都有对应同一个键的累加器，就需要使用用户提供的mergeCombiners()方法将各个分区的结果（全是C格式）进行合并。