• HDFS二.HDFS实现分布式文件存储---体系结构


    单击模式(Standalone):

    单机模式是Hadoop的默认模式。当首次解压Hadoop的源码包时,Hadoop无法了解硬件安装环境,便保守地选择了最小配置。在这种默认模式下所有3个XML文件均为空。当配置文件为空时,Hadoop会完全运行在本地。因为不需要与其他节点交互,单机模式就不使用HDFS,也不加载任何Hadoop的守护进程。该模式主要用于开发调试MapReduce程序的应用逻辑。

    伪分布式(Pseudo-Distributed Mode):

    伪分布模式在“单节点集群”上运行Hadoop,其中所有的守护进程都运行在同一台机器上。该模式在单机模式之上增加了代码调试功能,允许你检查内存使用情况,HDFS输入输出,以及其他的守护进程交互。5个进程的介绍http://www.aboutyun.com/thread-7088-1-1.html

    完全分布式(Fully Distributed Mode):

    Hadoop守护进程运行在一个集群上.

    master上看到namenode,jobtracer,secondarynamenode可以安装在master节点,也可以单独安装。slave节点能看到datanode和nodeManage

    HDFS起源:

    HDFS源于Google的GFS论文 发表于2003年10月  HDFS是GFS的克隆版

    http://www.cnblogs.com/999-/p/7120490.html

    GFS是一个可扩展的分布式文件系统,用于大型的、分布式的、对大量数据进行访问的应用。它运行于廉价的普通硬件上,并提供容错功能。它可以给大量的用户提供总体性能较高的服务。

    GFS 也就是 google File System,Google公司为了存储海量搜索数据而设计的专用文件系统。

    HDFS简介:

    HDFS(Hadoop Distributed File System,Hadoop 分布式文件系统)是一个高度容错性的系统,适合部署在廉价的机器上。HDFS 能提供高吞吐量的数据访问,适合那些有着超大数据集(largedata set)的应用程序。

           1. HDFS体系结构

             1.1 NameNode

    节点进程存在于集群的Master主机上

    作用:

           1.1.1管理文件的命名空间

          1.1.2协调客户端对文件的访问

          1.1.3记录每个文件数据在各个DataNode上的位置和副本信息

        主要文件:

    VERSION:版本信息,文件系统标识符

    seen_txid:事物管理文件

    Fsimage_*|

    Fsimage_*.md5|-----------源数据文件

    Edits_*|

    1.1 DataNode

      节点进程存在于集群的Slave子机器上

      作用:

         1.2.1真实数据的存储管理

         1.2.2一次写入,并行读取(不修改)

         1.2.3文件由数据块组成,典型的块大小是64MB

         1.2.4数据块尽量散布在各个节点

    主要文件:

    blk<id>:HDFS的数据块,保存具体的二进制数据

    blk<id>.meta:数据块的属性信息:版本信息,类型信息等

    写入文件流程:

    读取文件流程:

          1.1 SecondaryNameNode

    节点进程存在于集群的master上,也可以是单独一台机器

    作用:

    1.3.1 NameNode的一个快照

    1.3.2周期性备份NameNode

    1.3.3记录NameNode中的MateData以及其他数据

    1.3.4可以用来恢复NameNode,但是不能替换NameNode

  • 相关阅读:
    vue中@事件处理函数的柯里化
    一个例子生动理解js的原型_js的原型prototype和__protopy__区别
    vue3自定义v-model
    js初始化一个特定值的array
    dom的clientHeight、scrollHeight以及offsetHeight
    ts踩坑记录
    常见问题1
    资料share
    几种开放源码的TCPIP协议栈
    阻塞与非阻塞,同步与异步
  • 原文地址:https://www.cnblogs.com/3020815dzq/p/10123141.html
Copyright © 2020-2023  润新知