防火墙导致MySQL无法访问的问题解决案例

问题

数据库总是访问不了以致不得不反反复复的重启MySQL数据库。

但是重启的效果并不明显，重启10几分钟后问题依然出现。导致前端用户难以正常访问网站。
另外他们还通过google，百度搜索，怀疑是数据库连接设置太少。设定加大并发连接，无效。flush host，无效。经过详细了解情况后，得出如下信息：

一、系统正常；
二、MySQL本身服务正常（可以在本地用phpmyadmin操作，速度很快）；
三、另外一台服务器的WEB端访问MySQL很慢，甚至无法访问；
四、网络拓扑：WEB、数据库分离，并且在不同机房；

排查

根据他反映的情况，开始就怀疑与防火墙有关。因为这个问题，我遇到过，有切身体会。
但是我仍然按照常规步骤，逐一排查故障。这里可以排除网络缘故，网络方面的可能性已经排除。
另外，由于涉及数据私隐，这里仅仅描述排查步骤及排查命令，不提供具体数据和命令执行结果。

检查磁盘空间

# df -h
查看进程状况

# pstree
查看网络连接

# netstat -an
查看系统日志

# tail -f /var/log/messages
查看MySQL日志

# cat xxx.err |less
查看系统设置

# ulimit
# cat /proc/sys/net/ipv4/ip_local_port_range
# cat /proc/sys/net/ipv4/ip_conntrack_max

经过这几个步骤的检查下来，大致可以确定问题所在。因为前面的排查，并没有发现异常的地方。而系统设置确是RedHat AS 4的默认值。而这些默认值，对于比较大的服务来说，是不能满足的。因此，再结合问题的症状，可以断定问题就在于系统设置上。

处理

经过上面的排查后，已经断定为系统设置上的问题。因此通过修改这三个设置，来观测效果。

# ulimit -HSn 65535
# echo 10000 65000  > /proc/sys/net/ipv4/ip_local_port_range
# echo '81920000' > /proc/sys/net/ipv4/ip_conntrack_max

这些设置，已经在很多生产环境里应用，因此可以放心使用。

解决

应用了上面的三个设置后，经过一个多小时，问题不再出现。由此更可以断定，问题就是系统默认设置导致问题。
为了使得下次重启服务器后，这些设置仍然有效。通过修改 /etc/rc.local 来实现。

# vi /etc/rc.local
#增加如下三行代码
ulimit -HSn 65535
echo 10000 65000  > /proc/sys/net/ipv4/ip_local_port_range
echo '81920000' > /proc/sys/net/ipv4/ip_conntrack_max

在第二天，问题已经彻底解决，运行了一天多，没有再出现问题。

总结

这些放行版操作系统，都是通用性的。为了满足通用，会不同程度的牺牲系统的性能。因此，作为系统管理员，一个很重要的工作，就是根据自己不同的业务，不同的应用，对系统进行优化。

原文:http://www.lvtao.net/database/643.html