• HDFS基本概念


    概念

    HDFS,它是一个文件系统,用于存储文件,通过目录树来定位文件;其次,它是分布式的,由很多服务器联合起来实现其功能,集群中的服务器有各自的角色。

    注意:HDFS的设计适合一次写入,多次读出的场景,且不支持文件的修改。适合用来做数据分析,并不适合用来做网盘应用。

    组成

    1)HDFS集群包括,NameNode和DataNode以及Secondary Namenode。

    2)NameNode:负责管理整个文件系统的元数据,以及每一个路径(文件)所对应的数据块信息。

    3)DataNode :负责管理用户的文件数据块,每一个数据块都可以在多个datanode上存储多个副本。

    4)Secondary NameNode:用来监控HDFS状态的辅助后台程序(辅助NameNode),每隔一段时间获取HDFS元数据的快照。

    HDFS 文件块大小

    HDFS中的文件在物理上是分块存储(block),块的大小可以通过配置参数( dfs.blocksize)来规定,默认大小在hadoop2.x版本中是128M,老版本中是64M

    HDFS的块比磁盘的块大,其目的是为了最小化寻址开销。如果块设置得足够大,从磁盘传输数据的时间会明显大于定位这个块开始位置所需的时间。因而,传输一个由多个块组成的文件的时间取决于磁盘传输速率。

    如果寻址时间(找到物理位置)约为10ms,而传输速率为100MB/s,为了使寻址时间仅占传输时间的1%(最佳状态),我们要将块大小设置约为100MB。默认的块大小实际为64MB,但是很多情况下HDFS使用128MB的块设置。

    块的大小:10ms*100*100M/s = 100M

  • 相关阅读:
    Sort
    RAID
    LeetCode总结 -- 一维动态规划篇
    Count and Say
    Dynamic Programming Introduction
    Mongodb与Redis应用指标对比
    精通有状态vs无状态(Stateful vs Stateless)—Immutable模式之姐妹篇
    Windows 安装 pytorch3d
    GitHub 图片无法显示 或 gist 无法访问
    LaTeX符号表,数学公式速查必备
  • 原文地址:https://www.cnblogs.com/MWCloud/p/11213966.html
Copyright © 2020-2023  润新知