http://192.168.1.200:50070/dfshealth.jsp
http://192.168.1.200:50030/jobtracker.jsp
Hadoop启动完成之后,查看任务执行情况.
Apache Hadoop YARN(Yet Another Resource Negotiator,另一种资源协调者)是一种新的Hadoop资源管理器,它是一个通用资源管理系统,可为上层应用提供统一的资源和调度,它的引入为集群在利用率、资源统一管理和数据共享等方面带来了巨大好处.
HDFS设计基础与目标
- 硬件错误是常态,因此需要冗余。冗余的概念是融合在HDFS的基因中的.
- 流式数据访问.即数据批量读取而非随机读写,Hadoop擅长做的是数据分析而不是事务处理。
- 大规模数据集
- 简单一致性模型。为了降低系统复杂度,对文件采用一次性写多次读的逻辑设计.即文件一经写入,关闭,就再也不能修改;
- 程序采用"数据就近"原则分配节点执行.
HDFS体系结构
- NameNode
- DataNode
- 事务日志
- 映像文件
- SecondaryNameNode