今天中午发现zabbix陆续出现Zabbix agent on [HOSTNAME] is unreachable for 5 minutes问题,开始是只是寥寥几台,没太在意,吃了顿饭回来发现一大堆,而且持续很久,越3个小时( ⊙ o ⊙ )!观察后发现全是新加坡地区机器,查看绘图发现没图,而且latest data也没有,最后一次获取数据还在大概3h前,然后上机器用zabbix_get、zabbix_agent去测试,数据可以取到,然后度娘、狗狗一大堆没用的o(╯□╰)o,后来仔细分析只是新加坡的zabbix proxy代理节点监控的一批机器出现问题,导致美东的主zabbix server页面出现报警,其他地区都是正常的,配置什么的也没人修改,排除人为因素,想想应该是服务器性能吧?!然后看各种性能参数都很正常,没啥异常,然后抱着试试心态去仔细阅读每个配置文件选项分析,后来分许是因为从代理采集到的数据同步到server出现问题,然后调整配置选项DataSenderFrequency=300修改成1s同步一次,然后观察,画图在蹭蹭蹭的疯长,数据在迅速的同步着,同步完后,报警都消失了,
总结:该问题是由于zabbix Proxy推送数据到zabbix server由于某些原因导致(PS:啥原因,我没有深究,考虑肯能是网络问题导致,毕竟由于地理原因导致这种问题时常发生,只是以前出现时间挺短)出现严重延迟,导致大片数据采集不到,进而画图一大片空白,调整推送时间间隔,完成同步就可以解决。
PS:最后不要忘了把调整过的数据推送间隔改回来,除非你的服务器硬件强悍。(*^__^*) 嘻嘻……☺