• HDFS优缺点


    HDFS解决大数据存储的问题

    HDFS优点

    • 高容错性

        数据自动保存多个副本

        副本丢失后自动恢复

    • 适合批处理

        移动计算而非数据

        数据位置暴露给计算框架

    • 适合大数据处理

        GB、TB、甚至PB级数据

        百万规模以上的文件数据量

        10K+结点

    • 可构建在廉价机器上(为啥-->因为有高容错性,即使机器挂了数据也不会丢)

        通过多副本提高可靠性

        提供了容错和恢复机制

    HDFS缺点

    • 低延迟数据访问(读一些小文件的时候,寻址时间可能会比读数据还长)

     

    • 小文件存储(想办法转成大文件)

        占用namenode大量内存(元数据信息)

        寻道时间超过读取时间

    • 并发写入、文件随机修改

        一个文件只能有一个写者

        不支持内容修改,虽然2.0仅支持append,但一般生产环境不会开放(涉及到副本的修改,涉及文件大小改变切分)

  • 相关阅读:
    ROC曲线
    数学建模的时间表和分工
    找寻子串
    被7整除
    Java中BufferedReader和scanner的对比
    机器学习降维方法
    梯度下降法
    天池大赛
    统一认证系统(三)
    软件设计方案
  • 原文地址:https://www.cnblogs.com/maikerniuniu/p/7487435.html
Copyright © 2020-2023  润新知