hdfs文件系统架构详解
官方hdfs分布式介绍
NameNode
*Namenode负责文件系统的namespace以及客户端文件访问
*NameNode负责文件元数据操作，DataNode负责文件内容的处理，跟文件有关的额数据不会经过NameNode
*NameNode负责安排数据存在那台机器上，负责控制和调配最近的副本给用户读取（调节hdfs的balance属性，执行balance命令）
For the common case, when the replication factor is three, HDFS’s placement policy is to put one replica on one node in the local rack, another on a different node in the local rack, and the last on a different node in a different rack.
通常，当备份数为3的时候，HDFS的分配策略会将一个放置在本地节点，另一个放在同一个机架的不同节点上，最后一个放置在不同机架的节点上
*NameNode管理数据块的复制，周期性地接收心跳包（3s/次 10分钟GG）和blockreport（1h/次）
Datanode
*一个块保存了两个文件1：元文件（长度，校验，时间戳） 2：数据文件
*可以随时安全加入退出机器
*周期性地发送心跳包（3s/次 10分钟GG）和blockreport（1h/次）
datanode路径如下（由etc/hadoop/core-site.xml文件决定）
data/tmp/dfs/data/current/BP-1645940924-127.0.1.1-1497948488160/current/finalized/
-rw-rw-r-- 1 cen cen 3589 6月 20 16:50 blk_1073741825 #(数据文件)
-rw-rw-r-- 1 cen cen 39 6月 20 16:50 blk_1073741825_1001.meta #(元数据)
!!!值得一提的是，文件一旦创建，不能修改文件内容
文件损坏处理
*datanode读取block的时候会计算checksum
*与创建时候的checksum进行比对，若不一致则执行损坏处理
*让客户端读取其他datanode节点的数据
*NameNode标记此block已GG，用其他块数据覆盖本节点
*datanode每三周进行一次cehecksum工作
HDFS-NameNode存储在
*内存
*本地磁盘
1.fsimage(镜像文件)
2.edits(编辑日志)
第一次启动ＨＤＦＳ过程详解
0-> format (初始化文件系统)
1-> fsimage (生成镜像文件)
2-> Start NameNode (启动NameNode)
*read fsimage (读取镜像文件)
=======>>> SafeMode(进入HDFS文件系统的安全模式)<<<=======
3-> Start DataNode (启动DataNode)
*注册 (向NameNode注册)
*block report (向Namenode反馈块报告)
当 DataNodes blocks / total blocks = 99.999%
=============>>> 30秒 CD 后退出安全模式<<<================
<<<安全模式期间，不能改变文件系统命名空间(元数据)，如增 删 改，允许查看文件>>>
4-> create dir XXX (用户进行操作时候，内存中保存了修改，同时磁盘中修改了edits)
5-> put files XXX (同上)
6-> delete files XX (同上)
第二次启动ＨＤＦＳ
1-> NameNode
*read fsimage (读取镜像文件)
*read edits (读取编辑日志)
*gen write fsimage (合并编辑日志，生成新的镜像文件，替换原来的文件)
*gen write edits (生成空的编辑日志，替换原来的文件)
2-> DataNode
...
...
...
SecondaryNameNode
功能：定时合并编辑日志和镜像文件，用于辅助NameNode
手动进入安全模式
bin/hdfs dfsadmin -safemode <enter | leave | get | wait>
进入 |离开 |查看状态|等待|