对于Spark来说,有3种Join的实现方式
Broadcast Hash Join
Shuffle Hash Join
Sort Merge Join
Broadcast Hash Join和Shuffle Hash Join都是hash-join 区别只在于先广播还是先shuffle. Sort Merge Join
Hash Join
hash-join 有两个概念 基准表(Build Table)与探测表(Probe Table). 整个hash-join的流程如下
决定两表关联中,谁作为基准表,谁作为探测表(通常情况下小表作为基准表,大表作为探测表)
然后依次读取基准表,将基准表的连接键取hash(键hash值,键值)放入内存中(内存不够会溢出到磁盘),作为hash-table
然后依次读取探测表,取基准表的连接键取hash,查看hash-table中键hash值是否存在,如果存在则比较键值是否相等,如果仍然相等,则两条记录匹配上了
这里可以看出
hash-join正常情况下效率是非常高的,因为这已非常接近最优解 O(n)+O(m)了
hash-join适合至少有一个小表的情况下,否则构建的hash-table容易溢出到磁盘
Sort Merge Join
Sort-Merge-Join的处理核心是先排序,先将两张表都按照连接键排序
未完
参考 https://www.cnblogs.com/0xcafedaddy/p/7614299.html