一、hdfs介绍
官网说明
Hadoop Distributed File System (HDFS™): A distributed file system that provides high-throughput access to application data.(提供对应用程序数据的高吞吐量访问的分布式文件系统。)
优点:数据冗余,硬件容错
适合存储大文件
处理流式的数据访问
可构建在廉价的机器上
缺点:低延迟的数据访问
不适合小文件的存错
二、hdfs架构(官网架构图)
架构说明: 1、采用主从架构(master/slave architecture):master:NameNode(NN) slave:DataNode(DN)
2、文件存储会被拆分多个Block存储在DN上.(默认64M,CDH默认128M)
3、NN的作用: 1)负责客户端请求响应
2)负责元数据(文件的名称,副本系数,Block存放的DN等)的管理
4、DN的作用: 1)存储用户文件对应的数据块(Block)
2)定期向NN发送心跳信息,汇报本身及其所有的block信息(健康状况);