• Nginx负载均衡中后端节点服务器健康检查的操作梳理

    Nginx负载均衡中后端节点服务器健康检查的操作梳理

     

    正常情况下，nginx做反向代理，如果后端节点服务器宕掉的话，nginx默认是不能把这台realserver踢出upstream负载集群的，所以还会有请求转发到后端的这台realserver上面，这样势必造成网站访问故障。虽然nginx可以在localtion中启用proxy_next_upstream来解决返回给用户的错误页面，如下：

    1
    2
    3
    4
    5
    6
    7
    8
    例如公司的网站访问的时候全部变成404页面，最好发现是后端的一台服务器不可用，直接访问那台后台的服务器的时候，返回的是404页面，因为upstream 里面设置了ip_hash。所以导致访问网站时怎么刷新都是404页面。这时可以使用nginx的一个功能，就是当后端的服务器返回给nginx502、504、404、执行超时等错误状态的时候，nginx会自动再把这个请求转发到upstream里面别的服务器上面，从而给网站用户提供更稳定的服务。
    配置如下：
    location /
    {
    #如果后端的服务器返回502、504、执行超时等错误，自动将请求转发到upstream负载均衡池中的另一台服务器，实现故障转移。
    proxy_next_upstream http_502 http_504 http_404 error timeout invalid_header;
    }
    这样的话，也算是保障了后端服务器的一个高可用性。（下面实例配置中会用到）

    以上的配置大家可以参考一下，但这个还是会把请求转发给这台服务器的，然后再转发给别的服务器，这样以来就浪费了一次转发，对于网站性能来说也不是最佳理想的方案。为了避免上面说顾虑的情况，可以对nginx后方realserver的健康状态进行检查，如果发现后端服务器不可用，则请求不转发到这台服务器。
    目前主要有三种方式可以实现对nginx负载均衡的后端节点服务器进行健康检查：
    1）ngx_http_proxy_module模块和ngx_http_upstream_module模块（这是nginx自带模块）
        参考地址：http://nginx.org/en/docs/http/ngx_http_proxy_module.html#proxy_next_upstream
    2）nginx_upstream_check_module模块（淘宝技术团队开发）
        参考地址：https://github.com/yaoweibin/nginx_upstream_check_module
    3）ngx_http_healthcheck_module模块
    ------------------------------------------------------------------------------------------------------------------------

    一、利用nginx自带模块ngx_http_proxy_module和ngx_http_upstream_module对后端节点做健康检查
    严格来说，nginx自带是没有针对负载均衡后端节点的健康检查的，但是可以通过默认自带的ngx_http_proxy_module模块和ngx_http_upstream_module模块中的相关指令来完成当后端节点出现故障时，自动切换到健康节点来提供访问。下面列出这两个模块中相关的指令：

    1
    2
    3
    4
    5
    6
    7
    8
    9
    10
    11
    12
    13
    14
    15
    16
    17
    18
    19
    20
    21
    22
    23
    24
    25
    26
    27
    28
    29
    30
    31
    32
    33
    34
    35
    36
    37
    38
    39
    40
    41
    42
    43
    44
    45
    46
    47
    48
    49
    50
    51
    52
    53
    54
    55
    56
    57
    58
    59
    60
    61
    62
    63
    64
    65
    1）ngx_http_proxy_module模块中的 proxy_connect_timeout指令、proxy_read_timeout指令和proxy_next_upstream指令
    语法:   proxy_connect_timeout time;
    默认值:  proxy_connect_timeout 60s;
    上下文:  http, server, location
    设置与后端服务器建立连接的超时时间。应该注意这个超时一般不可能大于75秒。
      
    语法: proxy_read_timeout time;
    默认值:  proxy_read_timeout 60s;
    上下文:  http, server, location
    定义从后端服务器读取响应的超时。此超时是指相邻两次读操作之间的最长时间间隔，而不是整个响应传输完成的最长时间。如果后端服务器在超时时间段内没有传输任何数据，连接将被关闭。
      
    ---------------------------------------------------------------------------------------
    语法: proxy_next_upstream error | timeout | invalid_header | http_500 | http_502 | http_503 | http_504 |http_404 | off ...;
    默认值:  proxy_next_upstream error timeout;
    上下文:  http, server, location
    指定在何种情况下一个失败的请求应该被发送到下一台后端服务器：
      
    error      和后端服务器建立连接时，或者向后端服务器发送请求时，或者从后端服务器接收响应头时，出现错误
    timeout    和后端服务器建立连接时，或者向后端服务器发送请求时，或者从后端服务器接收响应头时，出现超时
    invalid_header  后端服务器返回空响应或者非法响应头
    http_500   后端服务器返回的响应状态码为500
    http_502   后端服务器返回的响应状态码为502
    http_503   后端服务器返回的响应状态码为503
    http_504   后端服务器返回的响应状态码为504
    http_404   后端服务器返回的响应状态码为404
    off        停止将请求发送给下一台后端服务器
      
    需要理解一点的是，只有在没有向客户端发送任何数据以前，将请求转给下一台后端服务器才是可行的。也就是说，如果在传输响应到客户端时出现错误或者超时，这类错误是不可能恢复的。
      
    范例如下（这个在文档开头已介绍）：
      
    http {
    proxy_next_upstream http_502 http_504 http_404 error timeout invalid_header;
    }
    ---------------------------------------------------------------------------------------
      
    2）ngx_http_upstream_module模块中的server指令
    语法: server address [parameters];
    默认值:  ―
    上下文:  upstream
      
    范例如下：
       upstream name {
          server 10.1.1.110:8080 max_fails=1 fail_timeout=10s;
          server 10.1.1.122:8080 max_fails=1 fail_timeout=10s;
            }
      
    --------------指令参数解释----------------
    max_fails=number   设定Nginx与服务器通信的尝试失败的次数。在fail_timeout参数定义的时间段内，如果失败的次数达到此值，Nginx就认为服务器不可用。在下一个fail_timeout时间段，服务器不会再被尝试。
                       失败的尝试次数默认是1。设为0就会停止统计尝试次数，即不对后端节点进行健康检查。认为服务器是一直可用的。
      
    fail_timeout=time  设定服务器被认为不可用的时间段以及统计失败尝试次数的时间段。在这段时间中，服务器失败次数达到指定的尝试次数，服务器就被认为不可用。
                       默认情况下，该超时时间是10秒。
      
    在实际应用当中：
    1）如果后端应用是能够快速重启的应用，比如nginx的话，自带的模块是可以满足需求的。
       但是需要注意，如果后端有不健康节点，负载均衡器依然会先把该请求转发给该不健康节点，然后再转发给别的节点，这样就会浪费一次转发。
    2）如果当后端应用重启时，重启操作需要很久才能完成的时候就会有可能拖死整个负载均衡器。
       此时，由于无法准确判断节点健康状态，导致请求handle住，出现假死状态，最终整个负载均衡器上的所有节点都无法正常响应请求。
      
    比如公司的业务程序是java开发的，因此后端主要是nginx集群和tomcat集群。由于tomcat重启应部署上面的业务不同，有些业务启动初始化时间过长，就会导致上述现象的发生，因此不是很建议使用该模式。
    并且ngx_http_upstream_module模块中的server指令中的max_fails参数设置值，也会和ngx_http_proxy_module 模块中的的proxy_next_upstream指令设置起冲突。
    如果将max_fails设置为0，则代表不对后端服务器进行健康检查，这样还会使fail_timeout参数失效（即不起作用）。
    此时判断后端服务器情况的唯一依据便是ngx_http_proxy_module模块中的proxy_connect_timeout指令和proxy_read_timeout指令，通过将它们的值调低来发现不健康节点，进而将请求往健康节点转移。
    如果这两个参数设置得过小，但后端程序的执行或多或少会超过这个时间的话，这种情况nginx的效率是非常低的。

    具体实例配置如下：

    1
    2
    3
    4
    5
    6
    7
    8
    9
    10
    11
    12
    13
    14
    15
    16
    17
    18
    19
    20
    21
    22
    23
    24
    25
    26
    27
    28
    29
    30
    31
    32
    33
    34
    35
    36
    37
    38
    39
    40
    41
    42
    43
    44
    45
    46
    47
    48
    49
    50
    51
    52
    53
    54
    55
    56
    57
    58
    59
    60
    61
    62
    63
    64
    65
    66
    67
    68
    69
    70
    71
    72
    73
    74
    75
    76
    77
    78
    79
    80
    81
    82
    83
    84
    85
    86
    87
    88
    89
    90
    91
    92
    93
    94
    95
    96
    97
    98
    99
    100
    101
    102
    103
    104
    105
    106
    107
    [root@master-node ~]# vim /usr/local/nginx/conf/nginx.conf
    user  www;
    worker_processes  8;
      
    #error_log  logs/error.log;
    #error_log  logs/error.log  notice;
    #error_log  logs/error.log  info;
      
    #pid        logs/nginx.pid;
      
      
    events {
        worker_connections  65535;
    }
      
      
    http {
        include       mime.types;
        default_type  application/octet-stream;
        charset utf-8;
            
        ######
        ## set access log format
        ######
        log_format  main  '$http_x_forwarded_for $remote_addr $remote_user [$time_local] "$request" '
                          '$status $body_bytes_sent "$http_referer" '
                          '"$http_user_agent" "$http_cookie" $host $request_time';
      
        #######
        ## http setting
        #######
        sendfile       on;
        tcp_nopush     on;
        tcp_nodelay    on;
        keepalive_timeout  65;
        proxy_cache_path /var/www/cache levels=1:2 keys_zone=mycache:20m max_size=2048m inactive=60m;
        proxy_temp_path /var/www/cache/tmp;
      
        fastcgi_connect_timeout 3000;
        fastcgi_send_timeout 3000;
        fastcgi_read_timeout 3000;
        fastcgi_buffer_size 256k;
        fastcgi_buffers 8 256k;
        fastcgi_busy_buffers_size 256k;
        fastcgi_temp_file_write_size 256k;
        fastcgi_intercept_errors on;
      
        #
        client_header_timeout 600s;
        client_body_timeout 600s;
       # client_max_body_size 50m;
        client_max_body_size 100m;               #允许客户端请求的最大单个文件字节数
        client_body_buffer_size 256k;            #缓冲区代理缓冲请求的最大字节数，可以理解为先保存到本地再传给用户
      
        gzip  on;
        gzip_min_length  1k;
        gzip_buffers     4 16k;
        gzip_http_version 1.1;
        gzip_comp_level 9;
        gzip_types       text/plain application/x-javascript text/css application/xml text/javascript application/x-httpd-php;
        gzip_vary on;
      
        ## includes vhosts
        include vhosts/*.conf;
    }
     
     
    [root@master-node ~]# mkdir /usr/local/nginx/conf/vhosts
    [root@master-node ~]# mkdir /var/www/cache
    [root@master-node ~]# ulimit 65535
     
    [root@master-node ~]# vim /usr/local/nginx/conf/vhosts/LB.conf
    upstream LB-WWW {
          ip_hash;                                                  #这是对负载均衡的算法
          server 192.168.1.101:80 max_fails=3 fail_timeout=30s;     #max_fails = 3 为允许失败的次数，默认值为1。 这是对后端节点做健康检查。
          server 192.168.1.102:80 max_fails=3 fail_timeout=30s;     #fail_timeout = 30s 当max_fails次失败后，暂停将请求分发到该后端服务器的时间
          server 192.168.1.118:80 max_fails=3 fail_timeout=30s;
        }
         
    server {
         listen       80;
         server_name  www.wangshibo.com;
       
          access_log  /usr/local/nginx/logs/www-access.log main;
          error_log  /usr/local/nginx/logs/www-error.log;
       
         location / {
             proxy_pass http://LB-WWW;
             proxy_redirect off ;
             proxy_set_header Host $host;
             proxy_set_header X-Real-IP $remote_addr;
             proxy_set_header REMOTE-HOST $remote_addr;
             proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
             proxy_connect_timeout 300;             #跟后端服务器连接超时时间，发起握手等候响应时间
             proxy_send_timeout 300;                #后端服务器回传时间，就是在规定时间内后端服务器必须传完所有数据
             proxy_read_timeout 600;                #连接成功后等待后端服务器的响应时间，已经进入后端的排队之中等候处理
             proxy_buffer_size 256k;                #代理请求缓冲区,会保存用户的头信息以供nginx进行处理
             proxy_buffers 4 256k;                  #同上，告诉nginx保存单个用几个buffer最大用多少空间
             proxy_busy_buffers_size 256k;          #如果系统很忙时候可以申请最大的proxy_buffers
             proxy_temp_file_write_size 256k;       #proxy缓存临时文件的大小
             proxy_next_upstream error timeout invalid_header http_500 http_503 http_404;
             proxy_max_temp_file_size 128m;
             proxy_cache mycache;                               
             proxy_cache_valid 200 302 60m;                     
             proxy_cache_valid 404 1m;
            }
    }

    二、利用nginx_upstream_check_module模块对后端节点做健康检查
    除了上面介绍的nginx自带模块，还有一个更专业的模块，来专门提供负载均衡器内节点的健康检查的。这个就是淘宝技术团队开发的nginx模块nginx_upstream_check_module，通过它可以用来检测后端realserver的健康状态。如果后端realserver不可用，则所以的请求就不会转发到该节点上。个人比较推荐使用这种方式来检查nginx后端节点的健康状态。

    在淘宝自己的tengine上是自带了该模块的，大家可以访问淘宝tengine的官网http://tengine.taobao.org来获取该版本的nginx，
    如果没有使用淘宝的tengine的话，可以通过补丁的方式来添加该模块到我们自己的nginx中。部署流程如下：

    1
    2
    3
    4
    5
    6
    7
    8
    9
    10
    11
    12
    13
    14
    15
    16
    17
    18
    19
    20
    21
    22
    23
    24
    25
    26
    27
    28
    29
    30
    31
    32
    33
    34
    35
    36
    37
    38
    39
    40
    41
    42
    43
    44
    45
    46
    47
    48
    49
    50
    51
    52
    53
    54
    55
    56
    57
    58
    59
    60
    61
    62
    63
    64
    65
    66
    67
    68
    69
    70
    71
    72
    73
    74
    75
    76
    比如健康检查配置：
    upstream test_web {
        server 192.168.1.21:80;
        server 192.168.1.22:80;
        check interval=3000 rise=2 fall=5 timeout=1000 type=http;
            
    }
    上面配置的意思是，对test_web这个负载均衡条目中的所有节点，每个3秒检测一次，请求2次正常则标记realserver状态为up，如果检测5次都失败，则标记realserver的状态为down，超时时间为1秒。
     
    ---------------------下面列出nginx_upstream_check_module 模块所支持的指令含义----------------------
    Syntax:  check interval=milliseconds [fall=count] [rise=count] [timeout=milliseconds] [default_down=true|false] [type=tcp|http|ssl_hello|mysql|ajp] [port=check_port]
    Default: 如果没有配置参数，默认值是：interval=30000 fall=5 rise=2 timeout=1000 default_down=true type=tcp
    Context: upstream
     
    该指令可以打开后端服务器的健康检查功能。指令后面的参数意义是：
    interval：向后端发送的健康检查包的间隔。
    fall(fall_count): 如果连续失败次数达到fall_count，服务器就被认为是down。
    rise(rise_count): 如果连续成功次数达到rise_count，服务器就被认为是up。
    timeout: 后端健康请求的超时时间。
    default_down: 设定初始时服务器的状态，如果是true，就说明默认是down的，如果是false，就是up的。默认值是true，也就是一开始服务器认为是不可用，要等健康检查包达到一定成功次数以后才会被认为是健康的。
    type：健康检查包的类型，现在支持以下多种类型
    tcp：简单的tcp连接，如果连接成功，就说明后端正常。
    ssl_hello：发送一个初始的SSL hello包并接受服务器的SSL hello包。
    http：发送HTTP请求，通过后端的回复包的状态来判断后端是否存活。
    mysql: 向mysql服务器连接，通过接收服务器的greeting包来判断后端是否存活。
    ajp：向后端发送AJP协议的Cping包，通过接收Cpong包来判断后端是否存活。
    port: 指定后端服务器的检查端口。你可以指定不同于真实服务的后端服务器的端口，比如后端提供的是443端口的应用，你可以去检查80端口的状态来判断后端健康状况。默认是0，表示跟后端server提供真实服务的端口一样。该选项出现于Tengine-1.4.0。
     
     
    Syntax: check_keepalive_requests request_num
    Default: 1
    Context: upstream
    该指令可以配置一个连接发送的请求数，其默认值为1，表示Tengine完成1次请求后即关闭连接。
     
    Syntax: check_http_send http_packet
    Default: "GET / HTTP/1.0 "
    Context: upstream
    该指令可以配置http健康检查包发送的请求内容。为了减少传输数据量，推荐采用"HEAD"方法。
     
    当采用长连接进行健康检查时，需在该指令中添加keep-alive请求头，如："HEAD / HTTP/1.1 Connection: keep-alive "。 同时，在采用"GET"方法的情况下，请求uri的size不宜过大，确保可以在1个interval内传输完成，否则会被健康检查模块视为后端服务器或网络异常。
    Syntax: check_http_expect_alive [ http_2xx | http_3xx | http_4xx | http_5xx ]
    Default: http_2xx | http_3xx
    Context: upstream
    该指令指定HTTP回复的成功状态，默认认为2XX和3XX的状态是健康的。
     
    Syntax: check_shm_size size
    Default: 1M
    Context: http
    所有的后端服务器健康检查状态都存于共享内存中，该指令可以设置共享内存的大小。默认是1M，如果你有1千台以上的服务器并在配置的时候出现了错误，就可能需要扩大该内存的大小。
     
    Syntax: check_status [html|csv|json]
    Default: check_status html
    Context: location
    显示服务器的健康状态页面。该指令需要在http块中配置。
     
    在Tengine-1.4.0以后，可以配置显示页面的格式。支持的格式有: html、csv、 json。默认类型是html。
    也可以通过请求的参数来指定格式，假设‘/status’是你状态页面的URL， format参数改变页面的格式，比如：
    /status?format=html
    /status?format=csv
    /status?format=json
     
    同时你也可以通过status参数来获取相同服务器状态的列表，比如：
    /status?format=html&status=down
    /status?format=csv&status=up
     
    下面是一个状态配置的范例：
    http {
          server {
             location /nstatus {
                 check_status;
                 access_log off;
                 #allow IP;
                 #deny all;
             }
          }
    }

    具体实例配置如下： 

    1
    2
    3
    4
    5
    6
    7
    8
    9
    10
    11
    12
    13
    14
    15
    16
    17
    18
    19
    20
    21
    22
    23
    24
    25
    26
    27
    28
    29
    30
    31
    32
    33
    34
    35
    36
    37
    38
    39
    40
    41
    42
    43
    44
    45
    46
    47
    48
    49
    50
    51
    52
    53
    54
    55
    56
    57
    58
    59
    60
    61
    62
    63
    64
    65
    66
    67
    1）下载nginx_upstream_check_module模块，并部署到nginx中。
    [root@localhost ~]# cd /usr/local/src
    [root@localhost src]# wget https://github.com/yaoweibin/nginx_upstream_check_module/archive/master.zip
    [root@localhost src]# unzip unzip master.zip
    [root@localhost src]# ls
    master.zip  nginx_upstream_check_module-master
    [root@localhost src]# ls nginx_upstream_check_module-master/
    CHANGES              check_1.2.6+.patch   check.patch                ngx_http_upstream_check_module.c          upstream_fair.patch
    check_1.11.1+.patch  check_1.5.12+.patch  config                     ngx_http_upstream_check_module.h          util
    check_1.11.5+.patch  check_1.7.2+.patch   doc                        ngx_http_upstream_jvm_route_module.patch
    check_1.2.1.patch    check_1.7.5+.patch   nginx-sticky-module.patch  README
    check_1.2.2+.patch   check_1.9.2+.patch   nginx-tests                test
       
    [root@localhost src]# wget http://nginx.org/download/nginx-1.8.0.tar.gz
    [root@localhost src]# tar -zxvf nginx-1.8.0.tar.gz
    [root@localhost src]# cd nginx-1.8.0
       
    [root@localhost nginx-1.8.0]# patch -p1 < ../nginx_upstream_check_module-master/check_1.9.2+.patch
    [root@localhost nginx-1.8.0]# ./configure --prefix=/usr/local/nginx --user=nginx --group=nginx --with-http_ssl_module --with-http_flv_module --with-http_stub_status_module --with-http_gzip_static_module --with-pcre --add-module=../nginx_upstream_check_module-master/
    [root@node1 src]# make && make install
       
    2)nginx配置
    [root@master-node ~]# vim /usr/local/nginx/conf/vhosts/LB.conf
    upstream LB-WWW {
          server 192.168.1.101:80; 
          server 192.168.1.102:80;
          check interval=3000 rise=2 fall=5 timeout=1000 type=http;
          check_keepalive_requests 100;
          check_http_send "HEAD / HTTP/1.1 Connection: keep-alive ";
          check_http_expect_alive http_2xx http_3xx;
        }
            
    server {
         listen       80;
         server_name  www.wangshibo.com;
          
          access_log  /usr/local/nginx/logs/www-access.log main;
          error_log  /usr/local/nginx/logs/www-error.log;
          
         location / {
             proxy_pass http://LB-WWW;
             proxy_redirect off ;
             proxy_set_header Host $host;
             proxy_set_header X-Real-IP $remote_addr;
             proxy_set_header REMOTE-HOST $remote_addr;
             proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
             proxy_connect_timeout 300;         
             proxy_send_timeout 300;           
             proxy_read_timeout 600;             
             proxy_buffer_size 256k;             
             proxy_buffers 4 256k;              
             proxy_busy_buffers_size 256k;       
             proxy_temp_file_write_size 256k;    
             proxy_next_upstream error timeout invalid_header http_500 http_503 http_404;
             proxy_max_temp_file_size 128m;
             proxy_cache mycache;                            
             proxy_cache_valid 200 302 60m;                  
             proxy_cache_valid 404 1m;
            }
             
           location /nstatus {
             check_status;
             access_log off;
             #allow IP;
             #deny all;
           }
    }

    配置完毕后，重启nginx。然后访问http://localhost/nstatus这个页面就可以看到当前两台realserver实时的健康状态。
    温馨提示：在生产环境的实施应用中需要注意下面两点

    1
    2
    3
    4
    5
    6
    1）主要定义好type。由于默认的type是tcp类型，因此假设服务启动，不管是否初始化完毕，它的端口都会起来，所以此时前段负载均衡器为认为该服务已经可用，其实是不可用状态。
    2）注意check_http_send值的设定。由于它的默认值是"GET / HTTP/1.0 "。
       假设应用是通过http://ip/name访问的，那么这里check_http_send值就需要更改为 "GET /name HTTP/1.0 "才可以。
       针对采用长连接进行检查的， 这里增加 keep-alive请求 头，即"HEAD /name HTTP/1.1 Connection: keep-alive "。
       如果后端的tomcat是基于域名的多虚拟机，此时你需要通过 check_http_send定义host，不然每次访问都是失败，范例：
       check_http_send "GET /mobileapi HTTP/1.0 HOST  www.redhat.sx ";

    也可以参考http://www.cnblogs.com/kevingrace/p/5882006.html这篇文档里的nginx后端节点健康检查的方法 

    三、利用ngx_http_healthcheck_module模块对后端节点做健康检查
    除了上面两个模块，nginx官方在早期的时候还提供了一个ngx_http_healthcheck_module模块用来进行nginx后端节点的健康检查。nginx_upstream_check_module模块就是参照该模块的设计理念进行开发的，因此在使用和效果上都大同小异。
    但是需要注意的是，ngx_http_healthcheck_module模块仅仅支持nginx的1.0.0版本，1.1.0版本以后都不支持了！因此，对于目前常见的生产环境上基本都不会去用这个模块了
  • 相关阅读:
    「codeforces
    「sdoi2019
    「ABC 218」解集
    「hdu
    「atcoder
    「tricks」平凡二分幻术
    并查集
    Bellman-Ford算法 & SPFA & SPFA_DFS
    最近公共祖先（LCA）
    题解 P5751 【[NOI1999]01串】
  • 原文地址：https://www.cnblogs.com/howhy/p/6912876.html
Copyright © 2020-2023  润新知