Nginx负载均衡中后端节点服务器健康检查的一种简单方式

摘自：https://cloud.tencent.com/developer/article/1027287

一、利用nginx自带模块ngx_http_proxy_module和ngx_http_upstream_module对后端节点做健康检查 严格来说，nginx自带是没有针对负载均衡后端节点的健康检查的，但是可以通过默认自带的ngx_http_proxy_module模块和ngx_http_upstream_module模块中的相关指令来完成当后端节点出现故障时，自动切换到健康节点来提供访问。下面列出这两个模块中相关的指令：

1）ngx_http_proxy_module模块中的 proxy_connect_timeout指令、proxy_read_timeout指令和proxy_next_upstream指令
语法:   proxy_connect_timeout time;
默认值:  proxy_connect_timeout 60s;
上下文:  http, server, location
设置与后端服务器建立连接的超时时间。应该注意这个超时一般不可能大于75秒。
 
语法: proxy_read_timeout time;
默认值:  proxy_read_timeout 60s;
上下文:  http, server, location
定义从后端服务器读取响应的超时。此超时是指相邻两次读操作之间的最长时间间隔，而不是整个响应传输完成的最长时间。如果后端服务器在超时时间段内没有传输任何数据，连接将被关闭。
 
---------------------------------------------------------------------------------------
语法: proxy_next_upstream error | timeout | invalid_header | http_500 | http_502 | http_503 | http_504 |http_404 | off ...;
默认值:  proxy_next_upstream error timeout;
上下文:  http, server, location
指定在何种情况下一个失败的请求应该被发送到下一台后端服务器：
 
error      和后端服务器建立连接时，或者向后端服务器发送请求时，或者从后端服务器接收响应头时，出现错误
timeout    和后端服务器建立连接时，或者向后端服务器发送请求时，或者从后端服务器接收响应头时，出现超时
invalid_header  后端服务器返回空响应或者非法响应头
http_500   后端服务器返回的响应状态码为500
http_502   后端服务器返回的响应状态码为502
http_503   后端服务器返回的响应状态码为503
http_504   后端服务器返回的响应状态码为504
http_404   后端服务器返回的响应状态码为404
off        停止将请求发送给下一台后端服务器
 
需要理解一点的是，只有在没有向客户端发送任何数据以前，将请求转给下一台后端服务器才是可行的。也就是说，如果在传输响应到客户端时出现错误或者超时，这类错误是不可能恢复的。
 
范例如下（这个在文档开头已介绍）：
 
http {
proxy_next_upstream http_502 http_504 http_404 error timeout invalid_header;
}
---------------------------------------------------------------------------------------
 
2）ngx_http_upstream_module模块中的server指令
语法: server address [parameters];
默认值:  ―
上下文:  upstream
 
范例如下：
   upstream name {
      server 10.1.1.110:8080 max_fails=1 fail_timeout=10s;
      server 10.1.1.122:8080 max_fails=1 fail_timeout=10s;
        }
 
--------------指令参数解释----------------
max_fails=number   设定Nginx与服务器通信的尝试失败的次数。在fail_timeout参数定义的时间段内，如果失败的次数达到此值，Nginx就认为服务器不可用。在下一个fail_timeout时间段，服务器不会再被尝试。
                   失败的尝试次数默认是1。设为0就会停止统计尝试次数，即不对后端节点进行健康检查。认为服务器是一直可用的。
 
fail_timeout=time  设定服务器被认为不可用的时间段以及统计失败尝试次数的时间段。在这段时间中，服务器失败次数达到指定的尝试次数，服务器就被认为不可用。
                   默认情况下，该超时时间是10秒。
 
在实际应用当中：
1）如果后端应用是能够快速重启的应用，比如nginx的话，自带的模块是可以满足需求的。
   但是需要注意，如果后端有不健康节点，负载均衡器依然会先把该请求转发给该不健康节点，然后再转发给别的节点，这样就会浪费一次转发。
2）如果当后端应用重启时，重启操作需要很久才能完成的时候就会有可能拖死整个负载均衡器。
   此时，由于无法准确判断节点健康状态，导致请求handle住，出现假死状态，最终整个负载均衡器上的所有节点都无法正常响应请求。
 
比如公司的业务程序是java开发的，因此后端主要是nginx集群和tomcat集群。由于tomcat重启应部署上面的业务不同，有些业务启动初始化时间过长，就会导致上述现象的发生，因此不是很建议使用该模式。
并且ngx_http_upstream_module模块中的server指令中的max_fails参数设置值，也会和ngx_http_proxy_module 模块中的的proxy_next_upstream指令设置起冲突。
如果将max_fails设置为0，则代表不对后端服务器进行健康检查，这样还会使fail_timeout参数失效（即不起作用）。
此时判断后端服务器情况的唯一依据便是ngx_http_proxy_module模块中的proxy_connect_timeout指令和proxy_read_timeout指令，通过将它们的值调低来发现不健康节点，进而将请求往健康节点转移。
如果这两个参数设置得过小，但后端程序的执行或多或少会超过这个时间的话，这种情况nginx的效率是非常低的。

二、具体实例配置如下：

test.cn.conf

upstream 141.test.cn {
　　server 192.100.10.139:80 max_fails=3 fail_timeout=30s;
　　server 192.100.10.140:80 max_fails=3 fail_timeout=30s;
　　}
server {
　　listen 80;
　　server_name 141.test..cn;
　　access_log /home/logs/nginx/test.cn/141access_log main;
　　error_log /home/logs/nginx/test..cn/141error_log;
　　log_not_found on;
　　location / {
　　　　proxy_pass http://141.test..cn;
　　　　proxy_set_header Host $host:$server_port;
　　　　proxy_set_header X-Real-IP $remote_addr;
　　　　proxy_set_header X-Real-PORT $remote_port;
　　　　proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
　　　　proxy_connect_timeout 300; #跟后端服务器连接超时时间，发起握手等候响应时间
　　　　proxy_send_timeout 300; #后端服务器回传时间，就是在规定时间内后端服务器必须传完所有数据
　　　　proxy_read_timeout 600; #连接成功后等待后端服务器的响应时间，已经进入后端的排队之中等候处理
　　　　proxy_buffer_size 256k; #代理请求缓冲区,会保存用户的头信息以供nginx进行处理
　　　　proxy_buffers 4 256k; #同上，告诉nginx保存单个用几个buffer最大用多少空间
　　　　proxy_busy_buffers_size 256k; #如果系统很忙时候可以申请最大的proxy_buffers
　　　　proxy_temp_file_write_size 256k; #proxy缓存临时文件的大小
　　　　proxy_next_upstream error timeout invalid_header http_500 http_502 http_503 http_504 http_403 http_404;
　　　　proxy_max_temp_file_size 128m;
　　　　proxy_cache mycache; #如果该域名负载的访问请求不需要缓存功能，那就将这以下四行全部注释掉。
　　　　proxy_cache_valid 200 302 1h;
　　　　proxy_cache_valid 301 1d;
　　　　proxy_cache_valid any 1m;
　　}
}

 三、需要注意的是：

上面的nginx负载均衡配置中已经开启了cache缓存功能，如果不需要缓存功能，则将上面vhosts目录下的虚拟主机配置中的proxy_cache mycache及其下面三行注释即可！

这里说下曾经碰到过的一个反常情况：
按照上面第一种nginx upstream的健康检查配置后，发现将upstream中的后端两台机器中的一台关闭，访问请求还是会打到这台关闭的后端机器上
查看方法：
直接浏览器里访问，发现访问结果一会儿好，一会儿坏，这是因为请求不仅打到了后端好的机器上，也打到了关闭的机器上了；

原因分析：
这是因为后端两台机器+端口的访问结果被包含在了 proxy_next_upstream中定义的状态码。

解决办法：
将
proxy_next_upstream error timeout invalid_header http_500 http_502 http_503 http_504 http_404;
改成
proxy_next_upstream error timeout invalid_header http_502 http_503 http_504;

重启nginx服务后，在浏览器里输入域名访问，发现访问结果是正常的了！
说明：
该域名的访问请求都打到了后端好着的那台服务器上了，那台关闭的服务器已经从upstream负载中踢出去了。

这个通过查看对应域名的access.log日志能发现：
访问请求会同时到达后端两台机器上，只不过请求到达关闭的那台机器上时就会通过健康检查发现它是坏的，就会将它自动提出，这样在浏览器里的访问结果显示的就
只是正常的那台后端机器处理后的结果了。

查看error.log错误日志，发现里面的信息都是：访问请求upstream到后端关闭的机器上时，全是"connect() failed (111: Connection refused)"，这是正常的，
因为upstream配置里每个几秒就会去健康后端机器，当连接失败时，错误信息就输出到error.log日志里。