HDFS 概述
产生背景
随着数据量越来越大，在一个操作系统存不下所有的数据，那么就分配到更多的操作系统管理的磁盘中，但是不方便管理和维护，迫切需要一种系统来管理多台机器上的文件，这就是分布式文件管理系统。HDFS只是分布式文件管理系统中的一种。
HDFS 定义
HDFS（Hadoop Distributed File System），它是一个文件系统，用于存储文件，通过目录树来定位文件；其次，它是分布式的，由很多服务器联合起来实现其功能，集群中的服务器有各自的角色。
HDFS 优缺点
优点
- 高容错性
数据自动保存多个副本。它通过增加副本的形式，提高容错性。
某一个副本丢失以后，它可以自动恢复。
- 适合处理大数据
数据规模：能够处理数据规模达到GB、TB、甚至PB级别的数据；
文件规模：能够处理百万规模以上的文件数量，数量相当之大。
- 构建在廉价机器上
缺点
- 不适合低延时数据访问，比如毫秒级的存储数据，是做不到的。
- 无法高效的对大量小文件进行存储。
小文件过多，会过多占用 Namenode 的内存，并浪费block。因为HDFS的每个文件、目录、数据块占用150B空间大小。
- 不支持并发写入、文件随机修改。
HDFS 组成架构
NameNode：就是一个Master。主要负责：
- 管理HDFS的名称空间
- 配置副本策略
- 管理数据块（Block）映射信息
- 处理客户端读写请求
DataNode：就是Slave。主要负责：
- 存储实际的数据块
- 执行数据块的读/写操作
Client：就是客户端，例如（Java代码，hdfs dfs）。主要负责：
- 文件切分。文件上传HDFS的时候，Client将文件切分成一个一个的Block，然后进行上传
- 与NameNode交互，获取文件的位置信息
- 与DataNode交互，读取或者写入数据
- Client提供一些命令来管理HDFS，比如NameNode格式化
- Client可以通过一些命令来访问HDFS，比如对HDFS增删查改操作
Secondary NameNode：NameNode 辅助节点，主要负责：
- 合并 fsimage 和 edit logs
NameNode 为了效率高，所以将目录结构相关数据放在内存中。但是因为内存容易丢失，所以内存中的数据需要持久化。那么谁来做这件事情？
NameNode不能完成这件事情吗，当然可以的。如果这么设计会导致 NameNode 节点任务繁重执行效率低下，因此诞生了- Secondary NameNode
HDFS 文件块大小
在 Hadoop2.x 版本中是 128M，老版本中是 64M。可通过配置文件修改。
<property>
<name>dfs.blocksize</name>
<value>134217728</value>
<description>
The default block size for new files, in bytes.
You can use the following suffix (case insensitive):
k(kilo), m(mega), g(giga), t(tera), p(peta), e(exa) to specify the size (such as 128k, 512m, 1g, etc.),
Or provide complete size in bytes (such as 134217728 for 128 MB).
</description>
</property>
参考资料
- Hadoop海量数据处理：技术详解与项目实战（第2版）
- 尚硅谷大数据