hdfs的核心工作原理--namenode元数据管理要点
1.什么是元数据?
hdfs的目录结构及每一个文件块的信息(块的id,块的副本数量,块的存放位置datanode)
2.元数据由namenode负责管理
3.namenode把元数据记录在哪里?
namenode的实时的完整的元数据存储在内存中
namenode还会在磁盘中存储内存元数据在某个时间点上的镜像文件
namenode会把引起元数据变化的客户端操作记录在edits日志文件中
4.secondarynamenode的作用
secondarynamenode会定期从namenode上下载fsimage镜像和新生成的edits日志,然后加载fsimage镜像到内存中,然后书序解析edits文件,对内存中的元数据对象进行整合,整合完成后,将内存单元元数据许可后成一个新的fsimage,并将这个fsimage镜像文件上传个namenode,叫做"checkpoint"