MapReduce框架原理

InputFormat 数据输入

切片与 MapTask 并行度决定机制

• MapTask 的并行度决定 Map 阶段的任务处理并发度，进而影响到整个 Job 的处理速度
• 数据块：Block 是 HDFS 物理上把数据分成一块一块。数据块是 HDFS 存储数据单位。
• 数据切片：数据切片只是在逻辑上对输入进行分片，并不会在磁盘上将其切分成片进行存储。数据切片是 MapReduce 程序计算输入数据的单位，一个切片会对应启动一个 MapTask
  

Job提交流程源码

waitForCompletion()

submit();
    // 1 建立连接 
    connect();
    // 1)创建提交 Job 的代理
    new Cluster(getConfiguration());
    // (1)判断是本地运行环境还是 yarn 集群运行环境 
    initialize(jobTrackAddr, conf);

    // 2 提交 job submitter.submitJobInternal(Job.this, cluster)
    // 1)创建给集群提交数据的 Stag 路径
    Path jobStagingArea = JobSubmissionFiles.getStagingDir(cluster, conf);
    // 2)获取 jobid ，并创建 Job 路径
    JobID jobId = submitClient.getNewJobID();

    // 3)拷贝 jar 包到集群
    copyAndConfigureFiles(job, submitJobDir);
    rUploader.uploadFiles(job, jobSubmitDir);

    // 4)计算切片，生成切片规划文件
    writeSplits(job, submitJobDir);
    maps = writeNewSplits(job, jobSubmitDir); 
    input.getSplits(job);

    // 5)向 Stag 路径写 XML 配置文件 
    writeConf(conf, submitJobFile);
    conf.writeXml(out);

    // 6)提交 Job,返回提交状态
    status = submitClient.submitJob(jobId, submitJobDir.toString(),job.getCredentials());

FileInputFormat 切片源码解析(input.getSplits(job))

FileInputFormat 切片机制

• 简单地按照文件的内容长度进行切片
• 切片大小，默认等于Block大小
• 切片时不考虑数据集整体，而是逐个针对每一个文件单独切片

MapReduce 工作流程

MapReduce详细工作流程(一)

MapReduce详细工作流程(二)

上面的流程是整个 MapReduce 最全工作流程，但是 Shuffle 过程只是从第 7 步开始到第 16 步结束，具体 Shuffle 过程详解，如下:

• MapTask 收集我们的 map()方法输出的 kv 对，放到内存缓冲区中
• 从内存缓冲区不断溢出本地磁盘文件，可能会溢出多个文件
• 多个溢出文件会被合并成大的溢出文件
• 在溢出过程及合并的过程中，都要调用 Partitioner 进行分区和针对 key 进行排序
• ReduceTask 根据自己的分区号，去各个 MapTask 机器上取相应的结果分区数据
• ReduceTask 会抓取到同一个分区的来自不同 MapTask 的结果文件，ReduceTask 会将这些文件再进行合并(归并排序)
• 合并成大文件后，Shuffle 的过程也就结束了，后面进入 ReduceTask 的逻辑运算过程(从文件中取出一个一个的键值对 Group，调用用户自定义的 reduce()方法)

注意:

• Shuffle 中的缓冲区大小会影响到 MapReduce 程序的执行效率，原则上说，缓冲区 越大，磁盘 io 的次数越少，执行速度就越快
• 缓冲区的大小可以通过参数调整，参数:mapreduce.task.io.sort.mb 默认 100M

Shuffle 机制

Map 方法之后，Reduce 方法之前的数据处理过程称之为 Shuffle

Partition分区

• 如果ReduceTask的数量> getPartition的结果数，则会多产生几个空的输出文件part-r-000xx
• 如果1<ReduceTask的数量<getPartition的结果数，则有一部分分区数据无处安放，会Exception
• 如果ReduceTask的数量=1，则不管MapTask端输出多少个分区文件，最终结果都交给这一个 ReduceTask，最终也就只会产生一个结果文件 part-r-00000
• 分区号必须从零开始，逐一累加

WritableComparable 排序

• 排序是MapReduce框架中最重要的操作之一
• MapTask和ReduceTask均会对数据按照key进行排序。该操作属于 Hadoop的默认行为。任何应用程序中的数据均会被排序，而不管逻辑上是 否需要
• 默认排序是按照字典顺序排序，且实现该排序的方法是快速排序
• 对于MapTask，它会将处理的结果暂时放到环形缓冲区中，当环形缓冲区使 用率达到一定阈值后，再对缓冲区中的数据进行一次快速排序，并将这些有序数 据溢写到磁盘上，而当数据处理完毕后，它会对磁盘上所有文件进行归并排序
• 对于ReduceTask，它从每个MapTask上远程拷贝相应的数据文件，如果文件大 小超过一定阈值，则溢写磁盘上，否则存储在内存中。如果磁盘上文件数目达到 一定阈值，则进行一次归并排序以生成一个更大文件;如果内存中文件大小或者 数目超过一定阈值，则进行一次合并后将数据溢写到磁盘上。当所有数据拷贝完 毕后，ReduceTask统一对内存和磁盘上的所有数据进行一次归并排序

排序分类

• 部分排序：MapReduce根据输入记录的键对数据集排序。保证输出的每个文件内部有序。
• 全排序：最终输出结果只有一个文件，且文件内部有序。实现方式是只设置一个ReduceTask。但该方法在处理大型文件时效率极低，因为一台机器处理所有文件，完全丧失了MapReduce所提供的并行架构。
• 辅助排序：在Reduce端对key进行分组。应用于:在接收的key为bean对象时，想让一个或几个字段相同(全部字段比较不相同)的key进入到同一个reduce方法时，可以采用分组排序。
• 二次排序：在自定义排序过程中，如果compareTo中的判断条件为两个即为二次排序。

Combiner 合并

• Combiner是MR程序中Mapper和Reducer之外的一种组件
• Combiner组件的父类就是Reducer
• Combiner和Reducer的区别在于运行的位置Combiner是在每一个MapTask所在的节点运行; Reducer是接收全局所有Mapper的输出结果
• Combiner的意义就是对每一个MapTask的输出进行局部汇总，以减小网络传输量
• Combiner能够应用的前提是不能影响最终的业务逻辑，而且，Combiner的输出kv 应该跟Reducer的输入kv类型要对应起来

OutputFormat 数据输出

OutputFormat是MapReduce输出的基类，所有实现MapReduce输出都实现了 OutputFormat接口。下面是几种常见的OutputFormat实现类

MapReduce 内核源码解析

MapTask 工作机制

• Read 阶段:MapTask 通过 InputFormat 获得的 RecordReader，从输入 InputSplit 中 解析出一个个 key/value。

• Map 阶段:该节点主要是将解析出的 key/value 交给用户编写 map()函数处理，并 产生一系列新的 key/value。

• Collect 收集阶段:在用户编写 map()函数中，当数据处理完成后，一般会调用 OutputCollector.collect()输出结果。在该函数内部，它会将生成的 key/value 分区(调用 Partitioner)，并写入一个环形内存缓冲区中。

• Spill 阶段:即“溢写”，当环形缓冲区满后，MapReduce 会将数据写到本地磁盘上， 生成一个临时文件。需要注意的是，将数据写入本地磁盘之前，先要对数据进行一次本地排序，并在必要时对数据进行合并、压缩等操作。溢写阶段详情:

  • 步骤 1:利用快速排序算法对缓存区内的数据进行排序，排序方式是，先按照分区编号 Partition 进行排序，然后按照 key 进行排序。这样，经过排序后，数据以分区为单位聚集在 一起，且同一分区内所有数据按照 key 有序。
  • 步骤 2:按照分区编号由小到大依次将每个分区中的数据写入任务工作目录下的临时文 件 output/spillN.out(N 表示当前溢写次数)中。如果用户设置了 Combiner，则写入文件之 前，对每个分区中的数据进行一次聚集操作。
  • 步骤 3:将分区数据的元信息写到内存索引数据结构 SpillRecord 中，其中每个分区的元 信息包括在临时文件中的偏移量、压缩前数据大小和压缩后数据大小。如果当前内存索引大 小超过 1MB，则将内存索引写到文件 output/spillN.out.index 中。

• Merge 阶段:当所有数据处理完成后，MapTask 对所有临时文件进行一次合并， 以确保最终只会生成一个数据文件

• 当所有数据处理完后，MapTask 会将所有临时文件合并成一个大文件，并保存到文件 output/file.out 中，同时生成相应的索引文件 output/file.out.index。在进行文件合并过程中，MapTask 以分区为单位进行合并。对于某个分区，它将采用多轮递归合并的方式。每轮合并 mapreduce.task.io.sort.factor(默认 10)个文件，并将产生的文件重新加入待合并列表中，对文件排序后，重复以上过程，直到最终得到一个大文件。让每个 MapTask 最终只生成一个数据文件，可避免同时打开大量文件和同时读取大量 小文件产生的随机读取带来的开销。

ReduceTask工作机制

• Copy 阶段:ReduceTask 从各个 MapTask 上远程拷贝一片数据，并针对某一片数 据，如果其大小超过一定阈值，则写到磁盘上，否则直接放到内存中。
• Sort 阶段:在远程拷贝数据的同时，ReduceTask 启动了两个后台线程对内存和磁 盘上的文件进行合并，以防止内存使用过多或磁盘上文件过多。按照 MapReduce 语义，用 户编写 reduce()函数输入数据是按 key 进行聚集的一组数据。为了将 key 相同的数据聚在一 起，Hadoop 采用了基于排序的策略。由于各个 MapTask 已经实现对自己的处理结果进行了 局部排序，因此，ReduceTask 只需对所有数据进行一次归并排序即可。
• Reduce 阶段:reduce()函数将计算结果写到 HDFS 上

数据清洗(ETL)

“ETL，是英文 Extract-Transform-Load 的缩写，用来描述将数据从来源端经过抽取 (Extract)、转换(Transform)、加载(Load)至目的端的过程。ETL 一词较常用在数据仓 库，但其对象并不限于数据仓库
在运行核心业务 MapReduce 程序之前，往往要先对数据进行清洗，清理掉不符合用户 要求的数据。清理的过程往往只需要运行 Mapper 程序，不需要运行 Reduce 程序。

Hadoop 数据压缩

压缩的好处和坏处

• 压缩的优点
  • 以减少磁盘 IO
  • 减少磁盘存储空间
• 压缩的缺点
  • 增加 CPU 开销

压缩原则

• 运算密集型的 Job，少用压缩
• IO 密集型的 Job，多用压缩

压缩位置

压缩方式对比

压缩格式	Hadoop 自带?	算法	文件扩展名	是否可切片	换成压缩格式后，原来的程序是否需要修改
DEFLATE	是，直接使用	DEFLATE	.deflate	否	和文本处理一样，不需要修改
Gzip	是，直接使用	DEFLATE	.gz	否	和文本处理一样，不需要 修改
bzip2	是，直接使用	bzip2	.bz2	是	和文本处理一样，不需要 修改
LZO	否，需要安装	LZO	.lzo	是	需要建索引，还需要指定输入格式
Snappy	是，直接使用	Snappy	.snappy	否	和文本处理一样，不需要 修改

压缩方式选择

压缩方式选择时重点考虑:压缩/解压缩速度、压缩率(压缩后存储大小)、压缩后是否可以支持切片