今天主要是和大家分享一下有关hdfs的读写流程,有关hadoop和其他相关的基础我会在之后的大数据只是总结中一一的总结出来,有兴趣的小伙伴可以关注我之后的更新
进入正题首先先由我这位灵魂画手给大家上一张图
首先先来说一下各自的功能:
NameNode:负责管理整个文件系统的元数据,以及所对应数据块的信息
DataNode:负责文件数据块的存储,每一个DataNode代表一个副本
所以根据上图我们可以得知,首先我们先和NN(NameNode)上传数据块的信息,以及在那些DN(DataNode)上进行存储,之后我们会与DN建立传输通道,这里有一个点是需要注意;dn1,dn2,dn3之间并不是并行建立的而是在dn1收到后会传给dn2并进入应答的队列等待应答。之后的就是进行传输了。
hdfs的都流程就是将写流程颠倒过来,首先和NN建立联系获取到所要读取的文件分别存储在哪些dn上,之后与dn建立联系读取文件,相比较而言还是比较好理解。
以上就是我对hdfs读写流程的一些理解,有不足的地方还请指正。