Hadoop项目背景简介
- 2003-2004年,Google公开了部分GFS个Mapreduce思想的细节,以此为基础Doug Cutting等人用了2年的业余时间,实现了DFS和Mapreduce机制,一个微缩版:Nutch
- 名字来源于Doug Cutting儿子的玩具大象
- Hadoop于2005年秋天作为Lucene的子项目Nutch的一不分正式引入Apahce基金会。2006年3月份,Map-Reduce和Nutch Distributed File System(NDFS)分别被纳入称为Hadoop的项目
Hadoop之父
Hadoop之父是Doug Cutting,关于他的介绍就不罗列了,大家网上搜索下都能找到,总结下:
- 他就职于Yahoo期间,开发了Hadoop项目。而Hadoop项目是根据Google发布3篇的学术论文研究而来,既《Google File System》、《Google MapReduce 》、《Google BigTable》。
- 大名鼎鼎的Lucene、Nutch也是他弄出来的。
- 他目前在Cloudera公司担任首席架构师工作。
官方网站
Hadoop六大模块
- Hadoop Common: 支持其他Hadoop模块的实用常用程序。
- Hadoop Distributed File System (HDFS™): 一种分布式文件系统,可提供对应用程序数据的高吞吐量访问。
- Hadoop YARN: 作业调度和集群资源管理的框架。
- Hadoop MapReduce:基于yarn系统,用于并行处理大型数据集。
- Hadoop Ozone: 用于Hadoop的对象存储。
- Hadoop Submarine:Hadoop的机器学习引擎
Apache的其他Hadoop相关项目
- Ambari™: 一个基于web的工具,用于配置、管理和监视Apache Hadoop集群。
- Avro™: 一种数据序列化系统。
- Cassandra™: 一套开源分布式NoSQL数据库系统。
- Chukwa™: 用于管理大型分布式系统的数据收集系统。
- HBase™: 一个可伸缩的分布式数据库,支持大表的结构化数据存储。
- Hive™: 一种数据仓库基础设施,提供数据摘要和特殊查询。
- Mahout™: 一个可伸缩的机器学习和数据挖掘库。
- Pig™: 用于并行计算的高级数据流语言和执行框架。
- Spark™: Hadoop数据的快速通用计算引擎。Spark提供了一个简单而富有表现力的编程模型,支持广泛的应用程序,包括ETL、机器学习、流处理和图形计算。
- Tez™: 针对Hadoop数据处理应用程序的新分布式执行框架,它提供了一个强大而灵活的引擎来执行任意的DAG任务来处理批处理和交互用例的数据。
- ZooKeeper™: 分布式应用程序的高性能协调服务。
Hadoop-HDFS
存储模型
- 将文件线性切割成块(Block)
- Block分散存储在集群节点中
- 单个文件Block大小一致,文件于文件可以不一致
- Block可以设置副本数,副本散在不同节点中
- 文件上传可以设置Block大小和副本数
- 已上传的文件Block副本数可以调整,大小不变
- 只支持一次写入多次读取,同一时刻只能有一个写入者
- 可以用append追加数据
架构模型
- 文件元数据MetaData,文件数据(元数据和数据本身)
- 元数据,描述文件的,例如文件大小多大,所述者信息等
- 数据本身
- (主)NameNode节点保存文件元数据
- (从)DataNode节点保存文件Block数据
- DataNode与NameNode保持心跳,提交Block列表(这里的心跳指的是DataNode会周期性的给NameNode提交数据包,报告DataNode节点状态以及Block列表)
- HdfsClient与NameNode交互元数据信息
- HdfsClient与DataNode交互文件Block数据
HDFS架构图
简单介绍下这个HDFS架构图,后面会详细介绍读写流程,所以这里只是带大家简单理解下。
- 最底层是DataNode,用于存储具体的数据,在往上是NameNode,用于存储数据的元信息。
- 读数据:HDFSClient(Client)先发请求,去NameNode中查找文件元信息,看看这个文件都存储在哪些DataNode节点上,NameNode把这个数据存储的节点信息告知HDFSClient后,HDFSClient去各个DataNode上拿数据。
- 写数据:HDFSClient(Client)先发请求,去NameNode中查找文件元信息,NameNode会看看哪些节点存活,可以写到哪些节点上,然后NameNode把这些信息发送给HDFSClient,HDFSClient将数据直接存储到这些节点上。等到文件全部写入完成后,文件才可用(这里要特别说明一点,并不是把数据直接发到NameNode上,由NameNode进行存储分发)
HDFS设计思想
例如一个文件50GB,按照64MB切块的话,切成若干个64MB大小的块。这些块是有副本概念,例如block1,会在不同的Server节点上都有其副本。右上角是描述清单,也就是所谓的原数据,存在NameNode进程中去,其中block1:node1,node2,node3,表示block1的位置信息。
HDFS优点
- 高容错性
- 数据自动保存多个副本
- 副本丢失后,自动恢复
- 适合批处理
- 移动计算而非移动数据
- 数据位置暴漏给计算框架(Block偏移量)
- 适合大数据处理
- GB、TB、PB数据
- 百万规模以上的文件数量
- 10K+节点
- 可构建在廉价机器上
- 通过多副本,提升可靠性
- 提供了容错和恢复机制
HDFS缺点
- 低延迟数据访问
- 比如毫秒级
- 低延迟与高吞吐率
- 小文件存储
- 占用NameNode大量内存
- 寻找时间超过读取时间
- 并发写入、文件随机修改
- 一个文件只能有一个写入者
- 仅支持append追加
Hadoop架构中的角色
NameNode(NN)
- 基于内存存储
- 主要功能:
- 接受客户端的读写服务
- 收集DataNode汇报的Block列表信息
- NameNode保存metadata信息包括
- 文件大小,时间
- Block列表,Block偏移量,位置信息
- Block每个副本位置(由DataNode上报)
DataNode(DN)
- 本地磁盘目录存储数据(Block),文件形式
- 同时存储Block的元数据信息文件(这里的元数据非NameNode源数据文件,只是DataNode这个角色为这个Block块创建的小的元数据文件,具体存的是对Block的校验和,例如MD5,哈希值等,以保证合并数据时数据的完整性。)
- 启动DataNode时会向NameNode汇报Block信息
- 通过向NameNode发送心跳保持联系(3秒一次),如果NameNode10分钟没有收到DataNode心跳,则认为已经lost,并copy其上的Block到其他的DataNode上
Secondary NameNode(SNN)
- 为NameNode上的数据创建周期性检查点的节点
- 周期性地下载当前NameNode fsimage和edit logs文件,将edit logs和fsimage文件合并为一个新的fsimage文件然后上传到NameNode中
- 它不是要取代掉NameNode也不是NameNode的备份
后记
下次,我们将详细介绍HDFS读写流程,敬请期待。
(转发请注明出处:http://www.cnblogs.com/zhangyongli2011/ 如发现有错,请留言,谢谢)