Hadoop环境搭建

Hadoop目录下的配置文件

1、core-site.xml
fs.defaultFS（老版本是fs.default.name）描述集群中NameNode节点的URI

<configuration>
     <property> 
            <name>fs.defaultFS</name> 
            <value>hdfs://localhost:9000</value> 
     </property> 
</configuration>

2、hdfs-site.xml
dfs.replication决定系统中文件块的数据备份个数

<configuration> 
    <property>
             <name>dfs.replication</name> 
            <value>1</value> 
    </property> 
</configuration>

3、mapred-site.xml

<configuration> 
    <property> 
            <name>mapreduce.framework.name</name> 
            <value>yarn</value> 
    </property>
 </configuration>

4、yarn-site.xml
配置ResourceManager 和 NodeManager，下面的name和value的解释为，Shuffle service 需要加以设置的Map Reduce的应用程序服务

<configuration>
    <property>
            <name>yarn.nodemanager.aux-services</name>
            <value>mapreduce_shuffle</value>
    </property>
</configuration>