Hadoop专有名词
一. HDFS
二. MapReduce
1．MRAppMaster:MapReduce Application Master 负责整个过程调度和协调的
2．MapTask：在Map阶段：负责Map阶段整个数据处理流程
3．ReduceTask：在Reduce阶段：负责Reduce阶段整个数据处理流程
4．Job：LocalJobRuuner YarnRunner
5．数据切片:splits:逻辑概念 hdfs:block对文件的切块
6．Inputformat:默认的InputFormat-->FileInputFormat-->TextInputFormat《LongWritable,Text》
7．RecordReader:经过RecordReader处理之后形成的是<K,V>
8．LocalJobRunner:
三. 疑问点
1．“整个数据处理流程”
2．MapTask、ReduceTask运行顺序
（1）所有的MapTask运行结束之后会运行ReduceTask
3．一个程序中MapTask的数量是多少？跟什么有关系？
（1）跟切片splits个数有关系，有多少个splits切片就有多少个mapTask
（2）splits大小---》默认跟blockSize一样大(前提条件：1.HDFS上 2.没有手动设置过minSize、MaxSize)
（3）如果一个文件的剩余大小除以splitSize不大于1.1的话，他们会被作为一个切片。
4．一个程序中ReduceTask的数量是多少？跟什么有关系？
（1）根据客户指定的参数,如果没有指定，默认是1.
5．进入到ReduceTask以后“待处理数据”指的是什么数据？
（1）MapTask处理完后溢写到磁盘上面的数据
（2）ReduceTask应该将结果存放到HDFS，保证数据可靠存储。
6．在MapTask阶段会把处理结果溢写到磁盘中？
（1）所谓的溢写到磁盘是指datanode的本地磁盘。如果放到HDFS中会根据副本策略增加多个副本。
7．运行程序后发现的现象：
（1）文件路径：可以是HDFS上的，也可以是本地的。
（2）在eclipse中直接运行程序发现执行Job的都是LocalJobRunner
（3）打成Jar包放在集群上运行，文件路径必须是HDFS路径。
（4）文件内容最终会有序排列：什么阶段做了有序处理？
（5）Hadoop jar hadoop-mapreduce-examples.jar wordcount
9．一个MapReduce程序中能否只有Map?
10．设置输出文件中Key和Value的分割符：configuration.set("mapred.textoutputformat.separator", ";");
11．修改分区并且按照分区写入到不同文件中操作步骤：
（1）自定义类继承自HashPartitioner<MapOutKey,MapOutValue>，重写getPartition方法。按照需求，返回不同的分区。
（2）显式在Job中设置PartitionerClass为自定义类
（3）显式在Job中设置numReduceTasks(分区总个数)
①如果不显式设置，默认为1.那么所有的分区内容存在于一个文件中。
②如果显式设置的分区总个数值大于实际分区总个数，会形成多个空文件。
③如果显式设置的分区总个数值小于实际分区总个数并且不等于1，会抛出异常。
12．在一个Job中，输入文件路径下有多个不同格式的文件需要处理，该如何解决？
（1）3个文件：每一个文件1splits， Map《KeyIN，ValueIn，KeyOut，ObjectWritable》、reduce
①Order订单
②Product产品
ObjectWritable
If（）
Ordedr
Product