• HDFS优缺点


    HDFS解决大数据存储的问题

    HDFS优点

    • 高容错性

        数据自动保存多个副本

        副本丢失后自动恢复

    • 适合批处理

        移动计算而非数据

        数据位置暴露给计算框架

    • 适合大数据处理

        GB、TB、甚至PB级数据

        百万规模以上的文件数据量

        10K+结点

    • 可构建在廉价机器上(为啥-->因为有高容错性,即使机器挂了数据也不会丢)

        通过多副本提高可靠性

        提供了容错和恢复机制

    HDFS缺点

    • 低延迟数据访问(读一些小文件的时候,寻址时间可能会比读数据还长)

     

    • 小文件存储(想办法转成大文件)

        占用namenode大量内存(元数据信息)

        寻道时间超过读取时间

    • 并发写入、文件随机修改

        一个文件只能有一个写者

        不支持内容修改,虽然2.0仅支持append,但一般生产环境不会开放(涉及到副本的修改,涉及文件大小改变切分)

  • 相关阅读:
    python学习笔记
    win10优化设置
    jpa基本用法
    5_方法(函数)、参数传递
    12_文件基本权限
    10_管理用户和组
    9_用户和组的相关配置文件
    7_vim 编辑器使用技巧
    8_Xmanager 远程连接 Linux 系统工具使用方法
    5_Linux系统目录结构,相对/绝对路径
  • 原文地址:https://www.cnblogs.com/maikerniuniu/p/7487435.html
Copyright © 2020-2023  润新知