一个完整的mapreduce程序在分布式运行时有三类实例进程
- MRAppMaster:负责整个程序的过程调度及状态协调！
- MapTask：负责map阶段的整个数据处理流程！
- ReductTask:负责reduce阶段的整个数据处理流程！
图示：
执行步骤：
map任务处理：
- 读取输入文件内容，解析为key value 键值对，对输入文件的每一行，解析为key value对。每一个键值对调用一次map函数。
- 写自己的逻辑，对输入的Key Value 处理，转换为新的 kv对输出！
- 对输出的key value 进行分区 ！
- 对不同的分区数据，按照key进行排序 ,分组。相同的key的value放到一个集合中
- 分组后进行数据归约。
reduce任务处理：
- 对多个map任务的输出，按照不同分区，通过网络copy到不同的reduce节点
- 对多个map任务的输出进行合并，排序。写reduce自己的逻辑，输入的key value 进行处理，转换成新的key value输出！
- 把reduce的输出保存到文件中！