• 8天学会Hadoop基础(1):NameNode的工作机制


    1 NameNode

    工作职责:

    1.负责客户端的请求与响应

    2.元数据的管理

    NameNode对元数据的存储方式:

    1.内存元数据

    2.磁盘元数据镜像文件

    3.数据操作日志文件(可通过日志运算出元数据,edits)

    NameNode
    (1)NameNode格式化,创建fsimage和fsedits文件

    (2)NameNode启动,加载fsedits和fsimage到内存

    (3)HDFS客户端对元数据进行增删改查

    (4)NameNode更新内存

    Secondary NameNode
    (1)Secondary NameNode请求是否需要checkpoint

    (2)NameNode响应请求,返回结果

    (3)Secondary NameNode请求执行checkpoint

    (4)NameNode滚动当前正在写的fsedits

    (5)NameNode将滚动的fsedits和fsimage拷贝到Secondary NameNode

    (6)Secondary NameNode加载fsedits和fsimage到内存并合并

    (7)Secondary NameNode生成新的fsimage.chkpoint

    (8)Secondary NameNode将新的fsimage.chkpoint拷贝到NameNode

    (9)NameNode将fsimage.chkpoint重新命名成fsimage

    元数据存储细节

    问题:

    如果在某次chkpoint操作前,NN宕机了,集群还能正常对外服务吗?

    不能,没有NN不可以正常上传和下载文件

  • 相关阅读:
    P2009 跑步
    P3916 图的遍历
    P2865 [USACO06NOV]路障Roadblocks
    P2820 局域网
    P2176 [USACO14FEB]路障Roadblock
    讨伐!数论
    网络流入门——EK算法
    最被低估的特质
    我的天哪我有博客了!
    Area POJ
  • 原文地址:https://www.cnblogs.com/blzm742624643/p/13381027.html
Copyright © 2020-2023  润新知