一 使用mapreduce实现分布式计算
1.什么事mapreduce？
源于google 的mapreduce 论文发表 Hadoop mapreduce 是Google mapreduce 的克隆版。
优点 易于编程
内部负责的操作，都是由框架本身去完成的，留给我们开发的内容少之又少（逻辑）
2.良好的扩展性：
随着我们业务或者需求的增加，集群的存储能力或者计算能力，又可能下降，这样我们可以通过增加集群的节点来解决
JobTracker：工作跟踪者
管理所有的作业job，存储在master节点上
将作业分解成一系列的任务
将任务指派给TaskTracker
作业/任务监控，错误处理等
TaskTracker：
存在slave节点上
运行Map Task和Reduce Task
与JobTracker交互，执行命令，汇报任务状态（心跳）
mapreduce 编程模型
input就是我们需要计算的海量数据文件
Splitting，就是把数据分割成一片一片的数据
mapping：就是计算每片数据的文件
Combiner：Combinder 对一个输出作用就是在map端做一次合并，减少本地磁盘10
Final result: 把最终的结果输出到HDFS文件系统中
Reducing：把Shuffing的数据进行汇总
思想就是分而治之
MapReduce的思想就是“分而治之”
***********map
就是“分”将复杂的数据分解成若干个，“简单的任务去执行”
可以并行计算，彼此之间没有依赖关系
reducer 就是负责对“合”汇总
（reducer的数目是由mapred-site.xml配置文件中的mapred.reduce.tasks决定的）所以这些都是mapreduce机制帮我们做出来的 计算
.WordCount案例解析
Hadoop数据类型：
IntWritable 是hadoop中的基本数据类型！整型数！
LongWritable:长整型数
FloatWritable：浮点数
DoubleWritable：双字节数
ByteWritable:单字节，对应byte类型
BytesWritable:字节数组，对应byte[]