HDFS
Hadoop fs命令、
hadoop fs <>
三节点集群搭建。
本地文件系统与hdfs相隔离。
hdfs dfs <>
start-all.sh在哪里？
cd $HADOOP
/opt/bigdata/hadop-2.7.3/etc/hadoop
slaves文件内容 看一看。
ssh node-02 -> datanode
？？？
jsp查看进程
hdfs原理：（面试）
fault recovery
每个快都会有副本。128M最大切分。
一个datanode对应一个机器？
hdfs-site.xml配置
configuration
文档：https://hadoop.apache.org/docs/r2.7.3
blk保存在机架的灵活性，如何配置。
机架感知。
副本零时性增多，提高吞吐量。
hadoop fs -settrep -R 4 /path
hdfa fsck /salary.txt -files -bllocks -locations
通过网页也可以查看：node-01:50070
4 HDFS 主从架构
读取方式
B1->dn1, dn2, dn3
B2->dn4,dn2, dn1
元数据->namenode 内存 namenode取回然后去各个block，组成hadoop.dat
HDFS适合大文件
HDFS有上限，因为每个元数据150Byte，而内存是有限的，故适合储存大文件
HDFS会将内存储存在硬盘上为了安全
Fsimage
Edits log
Secondary namenode
双缓存异步写
当t-t1>1h 触发Check-point
心跳机制
10min以上 视为datanode挂掉
1小时 block report
短路径
官网
负载均衡
磁盘利用率差值变小