首先我们先回顾一下Hadoop的一些概念:
Apache Hdoop 1.x 组成
NameNode(元数据服务器)
Secondary NameNode(辅助元数据服务器)
JobTracker(任务调度员)
DataNodes(块存储)
TaskTrackers(任务执行)
HDFS文件系统
NameNoode:属于管理层,用于管理数据存储
SecondaryNameNode:也属于管理层,辅助NameNode进行管理
DataNode:属于应用层,用户进行数据的存储,被NameNode进行管理,要定时的向NameNode进行工作汇报,执行NameNode分配的任务
MapReduce,分布式的并行计算框架
JobTracker:属于管理层,管理集群资源和对任务进行资源调度,监控任务的执行
TaskTracker:属于应用层,执行JobTracker分配的任务,并向JobTraker进行汇报工作情况
hadoop1.x配置文件详解: