hadoop的conf配置详解

hadoop-env.sh:一般来说在安装hadoop的时候，只需要指定其依赖的jdk即可。后期需指定hadoop的class路径。

                      export JAVA_HOME=

hdfs-site.xml:

<configuration>

<property>
<name>dfs.replication</name>       //表示的是上传到hdfs上的副本数量
<value>3</value>
</property>

<property>
<name>dfs.datanode.max.xcievers</name>        //Hadoop HDFS Datanode 有一个同时处理文件的上限,这个一般最少要4096，这个配置可能会和hbase的集群出现问题有关系。
<value>2047</value>
</property>

<property>
<name>dfs.name.dir</name>        //表示是将hdfs的元数据保存在什么位置下
<value>/data1/hadoop/data/dfs.name</value>
</property>

<property>
<name>dfs.data.dir</name>    //用与将hdfs的数据保存在什么地方，在完全分布式的环境下，会在不同的地方进行保存，涉及机架感知。
<value>/data1/hadoop/data/dfs.data,/data2/hadoop/data/dfs.data,/data3/hadoop/data/dfs.data,/data4/hadoop/data/dfs.data</value>
</property>

<property>
<name>fs.checkpoint.dir</name>    //secondary NameNode的元数据以,号隔开,hdfs会把元数据冗余复制到这些目录，一般这些目录是不同的块设备，不存在的目录会被忽略掉
<value>/data1/hadoop/data/dfs.snn</value>
</property>

<property>
<name>dfs.block.size</name>    //存储在hdfs上的一个block块的大小
<value>134217728</value>
</property>

<property>

<name>dfs.permissions</name>  //dfs权限是否打开，我一般设置false，通过开发工具培训别人界面操作避免误操作，设置为true有时候会遇到数据因为权限访问不了。
<value>false</value>
</property>

</configuration>

core-site.xml

<configuration>
<property>
<name>fs.default.name</name>   //namenode RPC交互端口 即可以当成是namenode的端口
<value>hdfs://prep-master:9000</value>
</property>

<property>
<name>fs.trash.interval</name>   //hadoop回收站
<value>60</value>
</property>

<property>
<name>io.file.buffer.size</name>  //作为hadoop缓冲区，用于hadoop读hdfs的文件和写hdfs的文件，还有map的输出都用到了这个缓冲区容量，对于现在的硬件很保守，可以设置为128k(131072),甚至是1M(太大了map和reduce任务可能会内存溢出)。
<value>65536</value>
</property>

<property>
<name>fs.inmemory.size.mb</name>  // reduce阶段用户合并map输出的内存限制。这里设置200，可根据自身硬件设备进行更改测试
<value>200</value>
</property>

<property>
<name>io.sort.factor</name>
<value>100</value>
</property>

<property>
<name>io.sort.mb</name>
<value>200</value>
</property>

<property>
<name>io.compression.codecs</name>
<value>org.apache.hadoop.io.compress.DefaultCodec,org.apache.hadoop.io.compress.GzipCodec,org.apache.hadoop.io.compress.BZip2Codec,org.apache.hadoop.io.compress.SnappyCodec</value>
<description>A list of the compression codec classes that can be used for compression/decompression.</description>
</property>

</configuration>