数据块
- 每个磁盘都有默认数据块大小,这个数据块就是磁盘存取得最小得单位。
- 磁盘块得大小一般为512字节
- 数据块得大小小于512字节,他得空间也会被占用。
HDSF 数据块
- HDFS也有数据块得大小,大小以前为64M,当前得大小为128M 。
- 如果该块没有存满,不会占用整个数据块得空间。
- HDFS 块得大小为什么要设置这么多大
- HDFS 得时间都浪费到寻址中去。传输时间大于选址时间,读取文件所消耗得时间就传输时间。
- 例子:加入寻址时间10ms,磁盘读写得速率时100MB/s,寻址用总时间得1%,计算到块得大小未100MB ,所以设置128M
- 切片
- 切片得大小和块得大小他时相同的
副本放置策略。
- 网络拓扑
- 副本存放策略,同数据中心不同机架之间的数据是4,不同数据中心距离是6。
- 看客户端程序离那个数据近。第一个节点放在客户端所在机架。如果不再集群几点中,随机房放在某个机架中。
- 第二个副本放到另一个机架中去。
- 放在不同的数据中心,或者放到零个机架。
- 这样放的目的是为了高可能性。未了数据的安全。
- 数据是如何写道分布式文件系统中去的。
-