分区数=reducer数
参考资料:
https://www.bilibili.com/video/BV1Qp4y1n7EN?p=69&spm_id_from=pageDriver
思考:
MapTask是怎么工作的?
ReduceTask是怎么工作的?
MapTask如何控制分区、排序?
MapTask和ReduceTask是如何进行衔接的?(ReduceTask如何知道最后一个MapTask执行完了?)
spark的分区和MapReduce的分区一样吗?
分区数=reducer数
参考资料:
https://www.bilibili.com/video/BV1Qp4y1n7EN?p=69&spm_id_from=pageDriver
思考:
MapTask是怎么工作的?
ReduceTask是怎么工作的?
MapTask如何控制分区、排序?
MapTask和ReduceTask是如何进行衔接的?(ReduceTask如何知道最后一个MapTask执行完了?)
spark的分区和MapReduce的分区一样吗?