• block块的学习


    块block
    块的默认大小128M
    块的副本数3

    配置文件 hdfs-site.xml 

    配置信息从官网查询

    浏览器输入hadoop.apache.org

    点击Learn more 出来以下页面病点击Single Node Setup  单节点部署

    点击单节点部署以后出来以下页面,在最左下角查找相关文件的默认文件,比如我们要找 hdfs-site.xml ,所以我们点击hdfs-default.xml ,然后按ctrl+f查找dfs.blocksize块大小和dfs.replication副本数

    <property>
    <name>dfs.blocksize</name>
    <value>134217728</value>
    </property>
    <property>
    <name>dfs.replication</name>
    <value>3</value>
    </property>

    比如一个文件260M
    (生产上 hdfs不适合存储小文件?为什么不合适?如果真的有小文件,该怎么办?该怎么合并)
    将文件以块的方式分割,去存储

    实际存储 规格
    块A: 128M 128M A0 A1 A2  A是块的3个副本
    块B: 128M 128M B0 B1 B2
    块C: 4M 128M C0 C1 C2

    每个瓶子容量128ml 一碗水260ml
    A 128ml
    B 128ml
    c 4ml

    面试题:
    一个文件160m,块大小128m,副本数2。

    请问实际几个块,实际物理存储多少?
    128m +128m
    32m + 32
    4个块: 160/128=1...32(进1,为2) 2*2=4

    160m *2 =320m

    图解:

  • 相关阅读:
    python学习第19天
    python学习第18天
    python 端口扫描
    Linux pthread
    python tornado 入门
    C语言 链表排序
    软件版本中的 符号意思
    connect 链接失败: 查找不到 signal
    类模板 与 模板类
    Qt:正则表达式语法:
  • 原文地址:https://www.cnblogs.com/xuziyu/p/10426186.html
Copyright © 2020-2023  润新知