• Nginx 负载均衡upstream_check_module 健康检查

    大家都知道，前端nginx做反向代理，如果后端服务器宕掉的话，nginx是不能把这台real server踢出upstream的，所以还会有请求转发到后端的这台real server上面去，虽然nginx可以在localtion中启用proxy_next_upstream来解决返回给用户的错误页面，但这个还是会把请求转发给这台服务器的，然后再转发给别的服务器，这样就浪费了一次转发，这次借助与淘宝技术团队开发的nginx模快nginx_upstream_check_module来检测后方realserver的健康状态，如果后端服务器不可用，则所以的请求不转发到这台服务器。

     转载于https://blog.csdn.net/qq_34556414/article/details/106636710

    nginx_upstream_check_module模块

    nginx_upstream_check_module 是专门提供负载均衡器内节点的健康检查的外部模块，由淘宝的姚伟斌大神开发，通过它可以用来检测后端 realserver 的健康状态。如果后端 realserver 不可用，则后面的请求就不会转发到该节点上，并持续检查几点的状态。在淘宝自己的 tengine 上是自带了该模块。项目地址：https://github.com/yaoweibin/nginx_upstream_check_module 。  

    在淘宝自己的 tengine 上是自带了该模块的，大家可以访问淘宝tengine的官网来获取该版本的nginx，官方地址：http://tengine.taobao.org/。

     

    nginx后端健康检查

    nginx自带健康检查的缺陷：

    1. Nginx只有当有访问时后，才发起对后端节点探测。
    2. 如果本次请求中，节点正好出现故障，Nginx依然将请求转交给故障的节点,然后再转交给健康的节点处理。所以不会影响到这次请求的正常进行。但是会影响效率,因为多了一次转发
    3. 自带模块无法做到预警
    4. 被动健康检查

    使用第三访模块nginx_upstream_check_module：

    1. 区别于nginx自带的非主动式的心跳检测，淘宝开发的tengine自带了一个提供主动式后端服务器心跳检测模块
    2. 若健康检查包类型为http，在开启健康检查功能后，nginx会根据设置的间隔向指定的后端服务器端口发送健康检查包，并根据期望的HTTP回复状态码来判断服务是否健康。
    3. 后端真实节点不可用，则请求不会转发到故障节点
    4. 故障节点恢复后，请求正常转发

    nginx被动检查

    Nginx自带有健康检查模块：ngx_http_upstream_module，可以做到基本的健康检查，配置如下：

    1.  
      upstream cluster{
    2.  
      server 172.16.0.23:80 max_fails=1 fail_timeout=10s;
    3.  
      server 172.16.0.24:80 max_fails=1 fail_timeout=10s;
    4.  
      　　 # max_fails=1和fail_timeout=10s 表示在单位周期为10s钟内，中达到1次连接失败，那么接将把节点标记为不可用，并等待下一个周期（同样时常为fail_timeout）再一次去请求，判断是否连接是否成功。
    5.  
      　　 # fail_timeout为10s,max_fails为1次。
    6.  
      }
    7.  
      server {
    8.  
      listen 80;
    9.  
      server_name xxxxxxx.com;
    10.  
      location / {
    11.  
      proxy_pass http://cluster;
    12.  
      }
    13.  
      }

    缺点：
    Nginx只有当有访问时后，才发起对后端节点探测。如果本次请求中，节点正好出现故障，Nginx依然将请求转交给故障的节点,然后再转交给健康的节点处理。所以不会影响到这次请求的正常进行。但是会影响效率,因为多了一次转发,而且自带模块无法做到预警。

    nginx主动检查

    主动地健康检查，nignx定时主动地去ping后端的服务列表，当发现某服务出现异常时，把该服务从健康列表中移除，当发现某服务恢复时，又能够将该服务加回健康列表中。淘宝有一个开源的实现nginx_upstream_check_module模块

    1.  
      github地址：https://github.com/yaoweibin/nginx_upstream_check_module
    2.  
      taobao官网：http://tengine.taobao.org/document_cn/http_upstream_check_cn.html

    安装nginx_upstream_check_module 

     安装扩展模块，需要编译安装的nginx，版本自己选择（我的是nginx version: nginx/1.16.1）

    (1)获取安装包

    1.  
      [root@www src]# wget https://codeload.github.com/yaoweibin/nginx_upstream_check_module/zip/master
    2.  
      Saving to: ?.aster?
    3.  
       
    4.  
      [ <=> ] 175,413 277KB/s in 0.6s
    5.  
       
    6.  
      2020-09-28 10:36:44 (277 KB/s) - ?.aster?.saved [175413]

    (2)给nginx打个补丁

    （master解压后的文件为nginx_upstream_check_module-master 里面包含了多个补丁版本，根据自己的nginx版本选择)

    1.  
      [root@www src]# unzip master
    2.  
      [root@www src]# ls
    3.  
      debug kernels nginx-1.16.1 nginx_upstream_check_module-master
    4.  
      master nginx-1.16.1.tar.gz
    5.  
       
    6.  
      #进入nginx-1.16.1源码目录，进行打该模块的补丁（这一步千万不能遗漏）
    7.  
      [root@www nginx-1.16.1]# yum install patch-2.7.1-12.el7_7.x86_64 -y
    8.  
      [root@www nginx-1.16.1]# patch -p1 < /usr/src/nginx_upstream_check_module-master/check_1.16.1+.patch
    9.  
      patching file src/http/modules/ngx_http_upstream_hash_module.c
    10.  
      patching file src/http/modules/ngx_http_upstream_ip_hash_module.c
    11.  
      patching file src/http/modules/ngx_http_upstream_least_conn_module.c
    12.  
      patching file src/http/ngx_http_upstream_round_robin.c
    13.  
      patching file src/http/ngx_http_upstream_round_robin.h

     （3）编译安装

    1.  
      [root@www nginx-1.16.1]# /usr/local/nginx/sbin/nginx -V
    2.  
      nginx version: nginx/1.16.1
    3.  
      built by gcc 4.8.5 20150623 (Red Hat 4.8.5-39) (GCC)
    4.  
      configure arguments: --prefix=/usr/local/nginx
    5.  
      [root@www nginx-1.16.1]# ./configure --prefix=/usr/local/nginx --add-module=/usr/src/nginx_upstream_check_module-master/
    6.  
      checking for OS
    7.  
      + Linux 3.10.0-693.el7.x86_64 x86_64
    8.  
      checking for C compiler ... found
    9.  
      + using GNU C compiler
    10.  
      + gcc version: 4.8.5 20150623 (Red Hat 4.8.5-39) (GCC)
    11.  
       
    12.  
      [root@www nginx-1.16.1]# make && make install
    13.  
       
    14.  
      [root@www nginx-1.16.1]# make upgrade
    15.  
      /usr/local/nginx/sbin/nginx -t
    16.  
      nginx: the configuration file /usr/local/nginx/conf/nginx.conf syntax is ok
    17.  
      nginx: configuration file /usr/local/nginx/conf/nginx.conf test is successful
    18.  
      kill -USR2 `cat /usr/local/nginx/logs/nginx.pid`
    19.  
      sleep 1
    20.  
      test -f /usr/local/nginx/logs/nginx.pid.oldbin
    21.  
      kill -QUIT `cat /usr/local/nginx/logs/nginx.pid.oldbin`
    22.  
       
    23.  
      [root@www nginx-1.16.1]# /usr/local/nginx/sbin/nginx -V
    24.  
      nginx version: nginx/1.16.1
    25.  
      built by gcc 4.8.5 20150623 (Red Hat 4.8.5-39) (GCC)
    26.  
      configure arguments: --prefix=/usr/local/nginx --add-module=/usr/src/nginx_upstream_check_module-master/

    nginx_upstream_check_module模块使用

    服务治理的一个重要任务是感知服务节点变更，完成服务自动注册及异常节点的自动摘除。这就需要服务治理平台能够：及时、准确的感知service节点的健康状况。

    方案概述

    Nginx 提供了三种HTTP服务健康检查方案供用户选择：

    1. TCP层默认检查方案：

      定时与后端服务建立一条tcp连接，链接建立成功则认为服务节点是健康的。

    2. HTTP层默认检查方案：

      TCP层检查有一定的局限性：

      1. 很多HTTP服务是带状态的，端口处于listen状态并不能代表服务已经完成预热；

      2. 不能真实反映服务内部处理逻辑是否产生拥堵。

      3. 这时可以选择http层健康检查，会向服务发送一个http请求GET / HTTP/1.0 ，返回状态是2xx或3xx时认为后端服务正常。

    3. 自定义方案：（nginx_upstream_check_module模块）

      可根据下文描述自定义检查方案。

    配置参数详解

    一个常用的健康检查配置如下：

    1.  
      check fall=3 interval=3000 rise=2 timeout=2000 type=http;
    2.  
      check_http_expect_alive http_2xx http_3xx ;
    3.  
      check_http_send "GET /checkAlive HTTP/1.0 " ;

    下面针对每个配置参数，进行详细介绍。

     

    check：

    check 字段参数如下：

    Syntax: check interval=milliseconds [fall=count] [rise=count] [timeout=milliseconds] [default_down=true|false] [type=tcp|http|ssl_hello|mysql|ajp] [port=check_port]Default: 如果没有配置参数，默认值是：interval=30000 fall=5 rise=2 timeout=1000 default_down=true type=tcp

    check 字段各个参数含义如下：

    • interval：向后端发送的健康检查包的间隔，单位为毫秒。

    • fall(fall_count): 如果连续失败次数达到fall_count，服务器就被认为是down。

    • rise(rise_count): 如果连续成功次数达到rise_count，服务器就被认为是up。

    • timeout: 后端健康请求的超时时间。

    • default_down: 设定初始时服务器的状态，如果是true，就说明默认是down的，如果是false，就是up的。

      默认值是true，也就是一开始服务器认为是不可用，要等健康检查包达到一定成功次数以后才会被认为是健康的。

    • type：健康检查包的类型，现在支持以下多种类型    

      • tcp：

        简单的tcp连接，如果连接成功，就说明后端正常。

      • ssl_hello：

        发送一个初始的SSL hello包并接受服务器的SSL hello包。

      • http：

        发送HTTP请求，通过后端的回复包的状态来判断后端是否存活。

      • mysql: 向mysql服务器连接，通过接收服务器的greeting包来判断后端是否存活。

      • ajp：

        向后端发送AJP协议的Cping包，通过接收Cpong包来判断后端是否存活。

      • port: 指定后端服务器的检查端口。

        可以指定不同于真实服务的后端服务器的端口，比如后端提供的是443端口的应用，你可以去检查80端口的状态来判断后端健康状况。

        默认是0，表示跟后端server提供真实服务的端口一样。

    check_http_expect_alive：

    check_http_expect_alive 指定主动健康检查时HTTP回复的成功状态：

    1.  
      Syntax: check_http_expect_alive [ http_2xx | http_3xx | http_4xx | http_5xx ]
    2.  
      Default: http_2xx | http_3xx

    check_http_send：

    check_http_send 配置http健康检查包发送的请求内容

    为了减少传输数据量，推荐采用”HEAD”方法。当采用长连接进行健康检查时，需在该指令中添加keep-alive请求头，如：”HEAD / HTTP/1.1 Connection: keep-alive ”。同时，在采用”GET”方法的情况下，请求uri的size不宜过大，确保可以在1个interval内传输完成，否则会被健康检查模块视为后端服务器或网络异常。

    1.  
      Syntax: check_http_send http_packet
    2.  
      Default: "GET / HTTP/1.0 "

    完整示例

    完整示例，如下：

    http {
    1.  
      upstream cluster1 {
    2.  
        # simple round-robin
    3.  
        server 192.168.0.1:80;
    4.  
        server 192.168.0.2:80;
    5.  
        check interval=3000 rise=2 fall=5 timeout=1000 type=http;
    6.  
        check_http_send "HEAD / HTTP/1.0 ";
    7.  
        check_http_expect_alive http_2xx http_3xx;
    8.  
        }
    1.  
      upstream cluster2 {
    2.  
        # simple round-robin
    3.  
        server 192.168.0.3:80;
    4.  
        server 192.168.0.4:80;
    5.  
        check interval=3000 rise=2 fall=5 timeout=1000 type=http;
    6.  
        check_keepalive_requests 100;
    7.  
        check_http_send "HEAD / HTTP/1.1 Connection: keep-alive ";
    8.  
        check_http_expect_alive http_2xx http_3xx;
    9.  
        }
    1.  
      server {
    2.  
        listen 80;
    3.  
        location /1 {
    4.  
        proxy_pass http://cluster1;
    5.  
        }
    1.  
      location /2 {
    2.  
        proxy_pass http://cluster2;
    3.  
        }
    1.  
      location /status {
    2.  
        check_status;
    3.  
        access_log off;
    4.  
        allow SOME.IP.ADD.RESS;
    5.  
        deny all;
    6.  
        }
    7.  
      }
    8.  
      }

    状态测试

    1.  
      [root@www ~]# /usr/local/tomcat/bin/shutdown.sh
    2.  
      Using CATALINA_BASE: /usr/local/tomcat
    3.  
      Using CATALINA_HOME: /usr/local/tomcat
    4.  
      Using CATALINA_TMPDIR: /usr/local/tomcat/temp
    5.  
      Using JRE_HOME: /usr/java/jdk1.8.0_131
    6.  
      Using CLASSPATH: /usr/local/tomcat/bin/bootstrap.jar:/usr/local/tomcat/bin/tomcat-juli.jar
    7.  
       
    8.  
       
    9.  
      [root@www ~]# tail -f /usr/local/nginx/logs/error.log
    10.  
      2020/09/28 11:18:38 [notice] 8400#0: using inherited sockets from "6;"
    11.  
      2020/09/28 11:21:05 [notice] 8409#0: signal process started
    12.  
      2020/09/28 11:33:37 [notice] 8419#0: signal process started
    13.  
      2020/09/28 11:33:42 [error] 8420#0: enable check peer: 192.168.179.100:8080
    14.  
      2020/09/28 11:51:23 [error] 8420#0: send() failed (111: Connection refused)
    15.  
      2020/09/28 11:51:26 [error] 8420#0: send() failed (111: Connection refused)
    16.  
      2020/09/28 11:51:29 [error] 8420#0: send() failed (111: Connection refused)
    17.  
      2020/09/28 11:51:32 [error] 8420#0: send() failed (111: Connection refused)
    18.  
      2020/09/28 11:51:35 [error] 8420#0: send() failed (111: Connection refused)
    19.  
      2020/09/28 11:51:35 [error] 8420#0: disable check peer: 192.168.179.100:8080

    1.  
      [root@www ~]# /usr/local/tomcat/bin/startup.sh
    2.  
      Using CATALINA_BASE: /usr/local/tomcat
    3.  
      Using CATALINA_HOME: /usr/local/tomcat
    4.  
      Using CATALINA_TMPDIR: /usr/local/tomcat/temp
    5.  
      Using JRE_HOME: /usr/java/jdk1.8.0_131
    6.  
      Using CLASSPATH: /usr/local/tomcat/bin/bootstrap.jar:/usr/local/tomcat/bin/tomcat-juli.jar
    7.  
      Tomcat started.
    8.  
       
    9.  
       
    10.  
      2020/09/28 11:52:13 [error] 8420#0: check time out with peer: 192.168.179.100:8080
    11.  
      2020/09/28 11:52:17 [error] 8420#0: check time out with peer: 192.168.179.100:8080
    12.  
      2020/09/28 11:52:22 [error] 8420#0: check time out with peer: 192.168.179.100:8080
    13.  
      2020/09/28 11:52:26 [error] 8420#0: check time out with peer: 192.168.179.100:8080
    14.  
      2020/09/28 11:52:31 [error] 8420#0: check time out with peer: 192.168.179.100:8080
    15.  
      2020/09/28 11:52:35 [error] 8420#0: check time out with peer: 192.168.179.100:8080
    16.  
      2020/09/28 11:52:40 [error] 8420#0: check time out with peer: 192.168.179.100:8080
    17.  
      2020/09/28 11:52:44 [error] 8420#0: check time out with peer: 192.168.179.100:8080
    18.  
      2020/09/28 11:52:49 [error] 8420#0: check time out with peer: 192.168.179.100:8080
    19.  
      2020/09/28 11:52:53 [error] 8420#0: check time out with peer: 192.168.179.100:8080
    20.  
      2020/09/28 11:53:01 [error] 8420#0: enable check peer: 192.168.179.100:8080
  • 相关阅读:
    html5 桌面提醒：Notifycations
    windows 下 apache 的虚拟主机配置
    javascript 跨域
    javascript 类型数组读取二进制数据
    javascript parseInt() 函数的进制转换陷阱
    javascript 中几个与正则表达式相关的应用
    javascript 中的二进制运算
    一段小代码，发布网页时为js 、css 文件加上版本号
    base64 编码及解码
    PHP 的比较运算与逻辑运算
  • 原文地址：https://www.cnblogs.com/cheyunhua/p/14011800.html
Copyright © 2020-2023  润新知