相关文章链接
CentOS7安装CDH 第二章:CentOS7各个软件安装和启动
CentOS7安装CDH 第四章:CDH的版本选择和安装方式
CentOS7安装CDH 第五章:CDH的安装和部署-CDH5.7.0
CentOS7安装CDH 第六章:CDH的管理-CDH5.12
CentOS7安装CDH 第七章:CDH集群Hadoop的HA配置
CentOS7安装CDH 第八章:CDH中对服务和机器的添加与删除操作
1. memory调优
调优的本质就是对内存进行设置,使服务能够充分利用内存,从而速度更快,假设一台机器有32G内存,那应该怎么设置DataNode和Nodemanager的内存配置,从而是服务跑得更快。在Linux中,一般使用机器内存的百分之八十五用于服务,其他的百分之十五用于Linux本机自己的运行。所以机器32G内存,其中可用于服务的内存有27G,分配如下:
DN: Heap Size: 4G (块内存)
NM: Heap Size: 3G (块内存)
yarn.nodemanager.resource.memory-mb : 20G (资源内存)
yarn.scheduler.minimum-allocation-mb : 1G 默认1G (最小内存)
yarn.scheduler.maximum-allocation-mb: 20G (最大内存)
2. CPU调优
CPU调优就是集群中服务的CPU核数进行设置,在此设置中,一般是设置的虚拟的核数,即线程数,假设该机器4个物理核,每个核2个线程,那可以把该参数设置为6,即如果运行spark的时候可以有6个task并行运行,这个参数默认是2,在线上的服务器是远远不够的,所以要进行设置,如下:
yarn.nodemanager.resource.cpu-vcores: 6 (6个task并行) 默认2
3. 调优总结
修改完,重启服务,生效配置