Hadoop家族成员概述
一、Hadoop简介
1.1 什么是Hadoop？
Hadoop是一个分布式系统基础架构，由Apache基金会所开发，目前Yahoo！是其最重要的贡献者。
Hadoop实现了一个分布式文件系统（Hadoop Distributed File System），简称HDFS，用户可以在不了解分布式底层细节的情况下，开发分布式应用程序，充分利用集群的威力高速运算和存储。
1.2 Hadoop的特点
高扩容能力：能可靠地存储和处理千兆字节（PB）的数据。
成本低：可以通过普通机器组成的服务器来分发以及处理数据，这些服务器群总计可达数千个节点，同时Hadoop是开源的。
高效率：通过分发数据，Hadoop可以在数据所在的节点上并行地处理它们，这使得处理非常的快速。
高可靠性：Hadoop能自动地维护数据的多份复制，并且在任务失败后能自动地重新部署计算任务。
1.3 谁在用Hadoop？
Yahoo!、IBM、Facebook、Amazon、百度、腾讯、新浪、搜狐、淘宝等。
1.4 Hadoop家族成员
下图为Hadoop家族成员图，整个Hadoop项目由以下几个子项目构成。
图1：Hadoop家族成员图
·Hadoop Common
Hadoop体系最底层的一个模块，为Hadoop各子项目提供各种工具，如：配置文件和日志操作等。
·Avro ：
Avro是Doug cutting主持的RPC项目，有点类似Google的protobuf和Facebook的thrift。avro用来做以后hadoop的RPC，使hadoop的RPC模块通信速度更快、数据结构更紧凑。
二、分布式文件系统（HDFS）
2.1 HDFS简介
HDFS是一种用于Hadoop应用程序的主存储系统，也是一个高容错性系统，适合部署在廉价机上，同时，HDFS能提高吞吐量的数据访问，非常适合大规模数据集上的应用。
HDFS为了做到可靠性创建了多份数据块的复制，并将它们放置在服务器群的计算节点中，MapReduce就可以在它们所造的几点上处理这些数据了。
HDFS默认的最基本的存储单位是64M的数据块。
2.2 HDFS能做什么？
HDFS适合做什么？
·存储并管理PB级数据。
·处理非结构化数据。
·注重数据处理的吞吐量。
·应用模式为：write-once-read-many存取模式。
HDFS不适合做？
·存储小文件（不建议使用）。
·大量的随机读（不建议使用）。
·需要对文件的修改（不支持）。
2.3 HDFS组件的主要功能
HDFS主要由NameNode和DataNode组成， NameNode是HDFS中负责namespace管理的节点，NameNode保存了当前集群中所存储的的所有的文件的元数据信息，NameNode同时与集群中其它的节点通信，以保持元数据与系统中的文件的一致性，同时也和 client通信，以响应client对文件的需要。DataNode是文件系统的工作节点，他们根据客户端或者是DataNode的调度存储和检索数据，并且定期向DataNode发送他们所存储的块(block)的列表。
没有NameNode，HDFS就不能工作。
|
NameNode |
DataNode |
|
·存储元数据 |
·存储文件内容 |
|
·元数据保存在内存中 |
·文件内容保存在磁盘 |
|
·保存文件block和datanode之间的映射关系 |
·维护了block到datanode本地文件的映射关系 |
表1：HDFS的主要功能
基本概念：
1) 数据块（block）
·HDFS默认的最基本的存储单位是64M的数据块。
·和普通文件系统相同的是，HDFS中的文件是被分成64M一块的数据块存储的。
·不同于普通文件系统的是，HDFS中，如果一个文件小于一个数据块的大小，并不占用整个数据块的存储空间。
2) 元数据节点（NameNode）
元数据节点用来管理文件系统的命名空间。
3) 数据节点（DataNode）
数据节点是文件系统中挣扎存储数据的地方。
三、MapReduce
MapReduce是一种处理海量数据的并行编程模型和计算框架，主要用于大数据集的并行计算。
3.1 MapReduce基础
1) MapReduce处理数据集的过程，如下图：
图2：MapReduce处理数据集的过程
Map阶段：
MapReduce框架将任务的输入分割成固定大小的片段（splites），随后敬爱那个每个splite进一步分解成一批键值对<K1,V1>。 Hadoop为每个split创建一个Map任务用于执行用户自定义的Map函数，并将对应split中的<K1,V1>对作为输入，得到计算的中间结果<K2,V2>，接着将中间结果按照K2进行排序，并key值相同的value放在一起形成<K2,list(V2)>元组。最后在根据key值的范围将这些远足进行分组，随影不同的Reduce任务。
Reduce阶段：
Reducer把从不同Mapper接收来的数据整合在一起并进行排序，然后调用用户自定义的reduce函数，对输入<K2,list(V2)>对进行处理，得到键值对<K3,V3>并输出到HDFS上。job.setNumReduceTask()方法设置reduce数。
3.2 MapReduce的集群行为
·任务调度与执行：有一个JobTracker和多个TaskTracker两类节点控制完成。
·本地计算：split通常应小于或等于HDFS数据块的大小，从而保证split不会跨越两台计算机存储，便于本地计算。
·shuffle过程：将Mapper的输出结果按照key值分成R份（R是设定的Reduce个数），划分时使用哈希函数，保证某一范围内的key由某个Reduce来处理。
·合并Mapper输出：在Shuffle之前先的结果进行合并（Combine过程）即将中间结果相同key值的多组<key,value>对合并成一对。可以减少中间结果数量，从而减少数据传输过程中的网络流量。
·读取中间结果：Mapper的输出结果被直接写到本地磁盘而非HDFS。
·任务管道：有时R个Reduce会产生R个结果，会将这R个结果作为另一个计算任务的输入开始。
3.2 Map/Reduce的个数
·Mappers的数目直接由splits来决定。
·Reduces的数目略小于reduce slots的总数。
所有的Reduces可以并行执行，减少排队时间。
对于未执行的reducer的slots，可以在其他reducer发生故障时立即分配给新创建的reducer。
·Reduces的个数要小于Mappers的个数。
四、Chukwa
4.1 Chukwa简介
Chukwa是由Yahoo贡献，基于Hadoop的大集群监控系统，可以用他来分析和收集系统中的数据(日志)。Chukwa运行HDFS中存储数据 的收集器和MapReduce框架之上，并继承了Hadoop的可扩展性 和鲁棒性， Chukwa使用MapReduce来生成报告，他还包括一个用于监测和分析结果显示的web-portal工具，通过web-portal工具使这个收 集数据的更佳具有灵活性。
4.2 Chukwa由那几个组件组成？
Chukwa是Yahoo开发的Hadoop之上的数据采集/分析框架，主要用于日志采集/分析。该框架提供了采集数据的Agent，由Agent采集数 据通过HTTP发送数据给Cluster的Collector，collector把数据 sink进Hadoop，然后通过定期运行Map reducer来分析数据，将结果呈现给用户。
Chukwa 有以下4个主要的组成部分:
·Agent：收集各服务器的数据
·Collectors：接收agent的数据;并写进存储
·MapReduce jobs ：归档数据
· HICC ：就是 Hadoop
Infrastructure Care Center的四个英文单词的缩写，简单来说是个Web工程用于ChukWa的内容展示。
五、Pig
Pig是SQL-like语言，是在MapReduce上构建的一种高级查询语言，把一些运算编译进MapReduce模型的Map和Reduce中，并且用户可以定义自己的功能。
六、Hive
Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供完整的SQL查询功能，可以将SQL语句转换为MapReduce任务进行运行。其优点是学习成本低，可以通 过类SQL语句块快速实现简单的MapReduce统计，不必开发专门的MapReduce应用，十分适合数据仓库。
七、HBase
7.1 HBase简介
HBase是Hadoop的数据库。能对大型数据提供随即、实时的读写访问。HBase的目标是存储并处理大型的数据。HBase是一个开源的、分布式的、多版本的、面向列的存储模型。它存储的是松散型数据。
HBase是Google BigTable的开源实现。Google BigTable利用 GFS 作为其文件存储系统，HBase利用Hadoop HDFS作为其文件存储系统；Google 运行 MapReduce来处理BigTable中的海量数 据，HBase同样利用Hadoop MapReduce来处理HBase中的海量数据；Google BigTable利用 Chubby作为协同服务，HBase利用Zookeeper作为对应。
7.2 HBase的特点
·高可靠性
·高效性
·面向列
·可伸缩
·可在廉价PC Server上搭建大规模的结构化存储集群
7.3 HBase的使用场景
·成熟的数据分析主题，查询模式已经确立并且不轻易改变。
·传统的关系型数据库已经无法承受负荷，高速插入，大量读取。
·适合海量的，但同时也是简单的操作（例如key-value）。
八、Zookeeper
Zookeeper是Google的Chubby一个开源的实现。它是一个针对大型分布式系统的可靠协调系统，提供的功能包括：配置维护、名字服务、分布式同步、组服务等。ZooKeeper的目标就是封装好复杂易 出错的关键服务，将简单易用的接口和性能高效、功能稳定的系统提供给用户。