学习视频:
https://www.bilibili.com/video/BV1r441127QE?from=search&seid=8254268135953422887
一、HDFS的相关概念
1.块:整个HDFS当中最核心的概念
2.两大组件
名称节点:整个HDFS集群的管家(数据目录)
数据节点:存储实际数据
3.实现目标:兼容廉价的硬件设备
实现流数据读写
支持大数据集
支持简单的文件模型
强大的跨平台兼容性
4.自身的局限性:不适合低延迟数据访问
无法高效存储大量小文件
不支持多用户写入及任意修改文件
二、HDFS体系结构、存储原理、数据读写过程
1.体系结构
2.存储原理
冗余数据保存的问题
·加快数据传输速度
·很容易检查数据错误
·保证数据可靠性
数据冗余策略问题
数据恢复的问题
3.读取数据
4.写数据
三、HDFS编程实践