Hadoop参数调优；
1、hdfs-site.xml 文件中配置多目录（提前配置），否则更改目录需要重新启动集群
2、Namenode有一个线程池，来处理不同的DataNode的并发心跳以及客户端并发元数据操作
dfs.namenode.handler.count= 20*log2(Cluseter Size)
如果该值设置的太小，明显的状况就是DataNode在连接NameNode的时候总是超时或者连接被拒绝，
但是NameNode的远成调用队列很大是，远程调用延时就会加大，症状之间是相互影响的，很难说修改该值就可以解决问题，
但是在查找故障时，检查一下改制的设置是有必要的
3、编辑日志存储路径dfs.namenode.edits.dir 设置与净吸纳过文件存储路径dfs.namenode
.name.dir尽量分开，达到最低写入延迟
4、服务器节点上YARN课使用的物理内存总量，默认是8192M，如果节点内存资源不够8G，就需要调小这个值，而YARN不会只能的探测节点的物理内存总量 yarn.nodemanager.resource.memory-mb
5、翻个任务可申请的最多物理内存量，默认8192M
yarn.scheduler.maxmum-allocation-mb
6、解决数据倾斜方法
1）在map端进行combine，减少传输的数据量（如果导致数据倾斜的key大量分布在不同的mapper时，效果不好）
2）导致数据倾斜的key大量分布在不同的mapper
①局部聚合加全局聚合（两次mr性能不好）
②增加reducer 提高并行度
根据数据分布情况，自定义散列函数，将key均匀分布在不同的Reducer
③增加reduce并行度 JobConf.setNumReduceTasks(int)
7、集群资源分配参数
集群30台机器，跑mr时候发现5个map任务全部分配到一台机器上，造成这的原因是因为 yarn.scheduler.fair.assignmultiple这个参数默认是打开的，需要手动关闭