hadoop配置文件详解 主要配置文件： hadoop-env.sh core-site.xml hdfs-site.xml mapred-site.xml yar-site.xml workers 参考： https://hadoop.apache.org/docs/r3.0.1/ https://www.aboutyun.com/thread-26880-1-1.html https://www.cnblogs.com/simple-li/p/14651340.html 1 hadoop-env.sh 配置hadoop环境变量 cat hadoop-env.sh export JAVA_HOME=/usr/local/jdk1.8.0_131 export HDFS_NAMENODE_USER=root export HDFS_DATANODE_USER=root export HDFS_SECONDARYNAMENODE_USER=root export HDFS_ZKFC_USER=root export HDFS_JOURNALNODE_USER=root #export HADOOP_NAMENODE_OPTS=" -Xms1024m -Xmx1024m -XX:+UseParallelGC" 2 core-site.xml Hadoop 核心全局配置文件，可在其他配置文件中引用该文件 cat core-site.xml <configuration> <property> <!-- 制定hdfs的nameservice，默认的链接地址，可以自定义的--> <name>fs.defaultFS</name> <value>hdfs://ns1</value> </property> <property> <name>dfs.nameservices</name> <value>ns1</value> </property> <property> <!--临时文件存储目录--> <name>hadoop.tmp.dir</name> <value>/hadoop/tmp</value> </property> <property> <!--指定zookeeper，还可以更多的设置超时时间等内容--> <name>ha.zookeeper.quorum</name> <value>vm1:2181,vm1:2181,vm1:2181</value> </property> </configuration> 3 hdfs-site.xml HDFS配置文件，继承core-site.xml配置文件。Hadoop的底层存储配置文件，主要配置HDFS相关参数 cat hdfs-site.xml <configuration> <property> <!--设置的副本数量,在程序汇总副本的系数是可以更改的--> <name>dfs.replication</name> <value>3</value> </property> <property> <!--配置的nameservice的名字,需要与core-site.xml中保持一致,并且利用其名称与namenode设置唯一标识--> <name>dfs.nameservices</name> <value>ns1</value> </property> <property> <!--配置cluster下面的namenode名称--> <name>dfs.ha.namenodes.ns1</name> <value>nn1,nn2</value> </property> <property> <!--配置namenode的地址与端口(RPC)--> <name>dfs.namenode.rpc-address.ns1.nn1</name> <value>vm1:8020</value> </property> <property> <name>dfs.namenode.rpc-address.ns1.nn2</name> <value>vm2:8020</value> </property> <property> <!--配置namenode的地址与端口(HTTP)--> <name>dfs.namenode.http-address.ns1.nn1</name> <value>vm1:50070</value> </property> <property> <name>dfs.namenode.http-address.ns1.nn2</name> <value>vm2:50070</value> </property> <property> <!--journal namenode同步namenode的元数据共享存储位置。也就是journal的列表信息-> <name>dfs.namenode.shared.edits.dir</name> <value>qjournal://vm1:8485;vm2:8485;vm3:8485/ns1</value> </property> <property> <!--配置高可用方案内容,失败后自动切换的方式--> <name>dfs.client.failover.proxy.provider.ns1</name> <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value> </property> <property> <!--ssh方案配置--> <name>dfs.ha.fencing.methods</name> <value>sshfence</value> </property> <property> <name>dfs.ha.fencing.ssh.private-key-files</name> <value>/root/.ssh/id_rsa</value> </property> <property> <!--namenode文件路径信息(元数据）--> <name>dfs.name.dir</name> #<name>dfs.namenode.name.dir</name> <value>/hadoop/dfs/name</value> </property> <property> <!--datanode数据保存路径，可配置多个数据盘--> <name>dfs.data.dir</name> <value>/hadoop/data</value> #<value>/hadoop/data，/hadoop/data2，/hadoop/data3</value> </property> <property> <!--journalnode的保存文件路径--> <name>dfs.journalnode.edits.dir</name> <value>/hadoop/journalnode</value> </property> <property> <!--开启NameNode失败自动切换--> <name>dfs.ha.automatic-failover.enabled</name> <value>true</value> </property> </configuration> 4 mapred-site.xml MapReduce 配置文件，继承 core-site.xml 配置文件 yarn的web地址和history的web地址以及指定我们的mapreduce运行在yarn集群上 cat mapred-site.xml <!-- Put site-specific property overrides in this file. --> <configuration> <!-- 指定 MapReduce 程序运行在 Yarn 上，表示MapReduce使用yarn框架 --> <property> <name>mapreduce.framework.name</name> <value>yarn</value> </property> <!-- 开启MapReduce小任务模式 --> <property> <name>mapreduce.job.ubertask.enable</name> <value>true</value> </property> <!-- 设置历史任务的主机和端口 --> <property> <name>mapreduce.jobhistory.address</name> <value>vm1:10020</value> </property> <!-- 设置网页访问历史任务的主机和端口 --> <property> <name>mapreduce.jobhistory.webapp.address</name> <value>vm1:19888</value> </property> </configuration> 5 yarn-site.xml YARN配置文件，继承 core-site.xml配置文件 cat yarn-site.xml <configuration> <!-- Site specific YARN configuration properties --> <property> <!--是否开启RM ha，默认是开启的--> <name>yarn.resourcemanager.ha.enabled</name> <value>true</value> </property> <property> <!--声明两台resourcemanager的地址--> <name>yarn.resourcemanager.cluster-id</name> <value>rmcluster</value> </property> <property> <!--制定rm的名字--> <name>yarn.resourcemanager.ha.rm-ids</name> <value>rm1,rm2</value> </property> <property> <!--指定rm的地址--> <name>yarn.resourcemanager.hostname.rm1</name> <value>vm1</value> </property> <property> <name>yarn.resourcemanager.hostname.rm2</name> <value>vm2</value> </property> <property> <!--指定zookeeper集群的地址--> <name>yarn.resourcemanager.zk-address</name> <value>vm1:2181,vm2:2181,vm3:2181</value> </property> <property> <!--启用自动恢复,当任务进行一半,rm坏掉,就要启动自动恢复,默认是false--> <name>yarn.resourcemanager.recovery.enabled</name> <value>true</value> </property> <property> <!--指定resourcemanager的状态信息存储在zookeeper集群,默认是存放在FileSystem里面--> <name>yarn.resourcemanager.store.class</name> <value>org.apache.hadoop.yarn.server.resourcemanager.recovery.ZKRMStateStore</value> </property> </configuration> 6 /home/hadoop/hadoop-3.2.2/etc/hadoop/workers 数据节点加入到workers里面： vm2 vm3