Hadoop分为三种模式:
独立(或本地)模式、伪分布模式、全分布模式
不同模式下关键配置项及属性内容如下面表格所示
组件名称
|
配置的文件名
|
属性名称 |
独立模式
|
伪分布模式
|
全分布模式
|
Common
|
core-site.xml
|
fs.default,name
|
file:///(默认)
|
hdfs://localhost/
|
hafs://namenode/
|
HDFS
|
hdfs-site.xml
|
dsf.replication
|
N/A
|
1
|
3
|
MapReduce 1
|
mapred-site.xml
|
mapred.job.tracker
|
local(默认)
|
localhost:8021
|
jobtracker:8021
|
YARN(MapReduce 2)
|
yarn-site.xml
|
yarn.resurcemanager.address
|
N/A
|
localhost:8032
|
resourcemanager:8032 |
PS :Hadoop 2.0 以及之后的新版本来说,MapReduce 运行在YARN上。
所有的配置文件都在etc/hadoop 子目录下。
YARN:http://baike.baidu.com/view/14770998.htm
Apache Hadoop YARN (Yet Another Resource Negotiator,另一种资源协调者)是一种新的 Hadoop 资源管理器,它是一个通用资源管理系统,可为上层应用提供统一的资源管理和调度,它的引入为集群在利用率、资源统一管理和数据共享等方面带来了巨大好处。