• 关于HDFS的读写流程


      今天主要是和大家分享一下有关hdfs的读写流程,有关hadoop和其他相关的基础我会在之后的大数据只是总结中一一的总结出来,有兴趣的小伙伴可以关注我之后的更新

      进入正题首先先由我这位灵魂画手给大家上一张图

      首先先来说一下各自的功能:

      NameNode:负责管理整个文件系统的元数据,以及所对应数据块的信息

      DataNode:负责文件数据块的存储,每一个DataNode代表一个副本

      所以根据上图我们可以得知,首先我们先和NN(NameNode)上传数据块的信息,以及在那些DN(DataNode)上进行存储,之后我们会与DN建立传输通道,这里有一个点是需要注意;dn1,dn2,dn3之间并不是并行建立的而是在dn1收到后会传给dn2并进入应答的队列等待应答。之后的就是进行传输了。

      hdfs的都流程就是将写流程颠倒过来,首先和NN建立联系获取到所要读取的文件分别存储在哪些dn上,之后与dn建立联系读取文件,相比较而言还是比较好理解。

      以上就是我对hdfs读写流程的一些理解,有不足的地方还请指正。

  • 相关阅读:
    nginx负载均衡
    Zabbix的安装和使用
    JENKINS安装和使用
    docker-compose安装
    gitlab的安装和使用
    Surging填坑记
    SQL2008R2下数据库修复一例
    SQL2000下修复某数据库的经历
    《C++ Primer Plus 第6版》学习笔记
    C++常见笔试题
  • 原文地址:https://www.cnblogs.com/yjfb/p/12355779.html
Copyright © 2020-2023  润新知