1、现像,吃cpu,&& io
过程:量大的时候发现在filbeat很吃io,
原因:
日志量文件数太多,因为日志是2m一个文件 ,一天几十个G
开始怀疑是centos 6的问题,,后面观察下来7也有这个问题,filebeat运行久和文件数据量多时候
所以会导致 filbeat 数据文件 registry io 吃很多 发现这个文件 有6m左右
1、忧化配置
配置参数:
close_inactive: 5m
close_removed: true
clean_removed: true
max_procs: 1
scan_frequency: 120s
2、要求开发统一打200m一个大小的文件 ,禁止打小文件
3、每天压缩一次这个log文件
观察几天下来,filebeat正常