HDFS解决大数据存储的问题
HDFS优点
- 高容错性
数据自动保存多个副本
副本丢失后自动恢复
- 适合批处理
移动计算而非数据
数据位置暴露给计算框架
- 适合大数据处理
GB、TB、甚至PB级数据
百万规模以上的文件数据量
10K+结点
- 可构建在廉价机器上(为啥-->因为有高容错性,即使机器挂了数据也不会丢)
通过多副本提高可靠性
提供了容错和恢复机制
HDFS缺点
- 低延迟数据访问(读一些小文件的时候,寻址时间可能会比读数据还长)
- 小文件存储(想办法转成大文件)
占用namenode大量内存(元数据信息)
寻道时间超过读取时间
- 并发写入、文件随机修改
一个文件只能有一个写者
不支持内容修改,虽然2.0仅支持append,但一般生产环境不会开放(涉及到副本的修改,涉及文件大小改变切分)