KAFKA 调优

KAFKA 调优

最近要对kafka集群做调优，就在网上看了些资料，总结如下。
我们的kafka版本是0.10.1.0。
机器配置是40G内存，300G硬盘。
一共有3台机器组成一个小的集群。

Kakfka的调优主要分为3个部分，Linux系统，JVM虚拟机，Kafka本身设置。

Linux系统

Swap 机制

Don't fear the filesystem!中提到kafka使用page cache进行文件存储。

计算机的内存分为虚拟内存和物理内存。物理内存是真实的内存，虚拟内存是用磁盘来代替内存。
并通过swap机制实现磁盘到物理内存的加载和替换,这里面用到的磁盘我们称为swap磁盘。

在写文件的时候，Linux首先将数据写入没有被使用的内存中，这些内存被叫做内存页（page cache）。然后读的时候，Linux会优先从page cache中查找，如果找不到就会从硬盘中查找。

当物理内存使用达到一定的比例后，Linux就会使用进行swap，使用磁盘作为虚拟内存。
通过cat /proc/sys/vm/swappiness可以看到swap参数。

这个参数表示虚拟内存中swap磁盘占了多少百分比。0表示最大限度的使用内存，100表示尽量使用swap磁盘。

系统默认的参数是60，当物理内存使用率达到40%，就会频繁进行swap，影响系统性能，推荐将vm.swappiness 设置为较低的值1。
最终我设置为10，因为我们的机器的内存还是比较小的，只有40G，设置的太小，可能会影响到虚拟内存的使用吧。
其实我也不太确定。

参考：

1. https://lonesysadmin.net/2013/12/11/adjust-vm-swappiness-avoid-unneeded-disk-io/

2. http://blog.csdn.net/zwan0518/article/details/12059213

脏文件

当大量的持续不断的数据写入cache内存中后，这些数据就被称为脏数据。需要尽快将这些脏数据flush到磁盘中，释放内存。
这里需要关注两个参数：

• vm.dirty_background_ratio:这个参数指定了当文件系统缓存脏页数量达到系统内存百分之多少时（如5%）就会触发pdflush/flush/kdmflush等后台回写进程运行，将一定缓存的脏页异步地刷入外存；

• vm.dirty_ratio:这个参数则指定了当文件系统缓存脏页数量达到系统内存百分之多少时（如10%），系统不得不开始处理缓存脏页（因为此时脏页数量已经比较多，为了避免数据丢失需要将一定脏页刷入外存）；在此过程中很多应用进程可能会因为系统转而处理文件IO而阻塞。
  这里推荐将vm.dirty_background_ratio设置为5， vm.dirty_ratio有的人设置为10，但是我觉得太小了，还是默认的就可以了。

参考：

1. http://blog.csdn.net/tenfyguo/article/details/50185915
2. http://blog.sina.com.cn/s/blog_448574810101k1va.html

网络

kafka集群对网络的要求比较高，可以将socket的缓冲设置为原来的两倍。

• net.core.wmem_default 设置为128K
• net.core.rmem_default 设置为128K

JVM虚拟机

GC调优

推荐使用1.7出来的G1垃圾回收机制代替CMS。

与CMS比较：

1. G1在压缩空间方面有优势
2. G1通过将内存空间分成区域（Region）的方式避免内存碎片问题
3. Eden, Survivor, Old区不再固定、在内存使用效率上来说更灵活
4. G1可以通过设置预期停顿时间（Pause Time）来控制垃圾收集时间避免应用雪崩现象
5. G1在回收内存后会马上同时做合并空闲内存的工作、而CMS默认是在STW（stop the world）的时候做
6. G1会在Young GC中使用、而CMS只能在O区使用

G1适合的场景：

1. 服务端多核CPU、JVM内存占用较大的应用（至少大于4G）
2. 应用在运行过程中会产生大量内存碎片、需要经常压缩空间
3. 想要更可控、可预期的GC停顿周期；防止高并发下应用雪崩现象

我们的kafka的kafka-run-class.sh 中已经包含了

KAFKA_JVM_PERFORMANCE_OPTS="-server -XX:+UseG1GC -XX:MaxGCPauseMillis=20 -XX:InitiatingHeapOccupancyPercent=35 -XX:+DisableExplicitGC -Djava.awt.headless=true"

所以只需要修改kafka-server-start.sh。这里面将内存设置为4G，因为当前kafka的堆内存使用了800多M，1个G的内存不够用。但是分配太多，也没什么用，还容易影响到pagecache，降低效率：

export KAFKA_HEAP_OPTS="-Xms4g -Xmx4g"

参考：

1. http://ifeve.com/深入理解g1垃圾收集器/
2. https://bigdata-ny.github.io/2016/12/05/kafka-cluster-optimize/
3. http://www.importnew.com/15311.html

Kafka配置

感觉现在配置的已经就够用了。

参考：

1. http://blog.csdn.net/vegetable_bird_001/article/details/51858915