NGINX反向代理与负载均衡

1.1 nginx负载均衡模块

实现nginx负载均衡的组件主要有两个，如下表

nginx http 功能模块	模块说明
ngx_httpproxy_module	proxy代理模块，用于把请求后抛给服务器节点或upstream服务器池
ngx_http_upstream_module	负载均衡模块，可以实现网站的负载均衡功能及节点的健康检查

 

 

 

 

 

1.2 nginx基本配置与参数说明

#运行用户

user www;

#启动进程,通常设置成和cpu的数量相等

worker_processes  1;

#全局错误日志及PID文件

#error_log  logs/error.log;

#error_log  logs/error.log  notice;

#error_log  logs/error.log  info;

#pid        logs/nginx.pid;

#工作模式及连接数上限

events {

    #epoll是多路复用IO(I/O Multiplexing)中的一种方式,

    #仅用于linux2.6以上内核,可以大大提高nginx的性能   

use   epoll;

 

    #单个后台worker process进程的最大并发链接数       

worker_connections  1024;

 

    # 并发总数是 worker_processes 和 worker_connections 的乘积

    # 即 max_clients = worker_processes * worker_connections

    # 在设置了反向代理的情况下，max_clients = worker_processes * worker_connections / 4  

    # 为什么上面反向代理要除以4，应该说是一个经验值

    # 根据以上条件，正常情况下的Nginx Server可以应付的最大连接数为：4 * 8000 = 32000

    # worker_connections 值的设置跟物理内存大小有关

    # 因为并发受IO约束，max_clients的值须小于系统可以打开的最大文件数

    # 而系统可以打开的最大文件数和内存大小成正比，一般1GB内存的机器上可以打开的文件数大约是10万左右

    # 我们来看看360M内存的VPS可以打开的文件句柄数是多少：

    # $ cat /proc/sys/fs/file-max

    # 输出 34336

    # 32000 < 34336，即并发连接总数小于系统可以打开的文件句柄总数，这样就在操作系统可以承受的范围之内

    # 所以，worker_connections 的值需根据 worker_processes 进程数目和系统可以打开的最大文件总数进行适当地进行设置

    # 使得并发总数小于操作系统可以打开的最大文件数目

    # 其实质也就是根据主机的物理CPU和内存进行配置

    # 当然，理论上的并发总数可能会和实际有所偏差，因为主机还有其他的工作进程需要消耗系统资源。

    # ulimit -SHn 65535

}

#设定http服务器

http {

    #设定mime类型,类型由mime.type文件定义   

include    mime.types;

default_type  application/octet-stream;

    #设定日志格式

    log_format  main  '$remote_addr - $remote_user [$time_local] "$request" '

                      '$status $body_bytes_sent "$http_referer" '

                      '"$http_user_agent" "$http_x_forwarded_for"';

access_log  logs/access.log  main;

 

    #sendfile 指令指定 nginx 是否调用 sendfile 函数（zero copy 方式）来输出文件，

    #对于普通应用，必须设为 on,

    #如果用来进行下载等应用磁盘IO重负载应用，可设置为 off，

    #以平衡磁盘与网络I/O处理速度，降低系统的uptime.   

sendfile     on;

    #tcp_nopush     on;

 

    #连接超时时间

    #keepalive_timeout  0;   

keepalive_timeout  65;

tcp_nodelay     on;

 

 #FastCGI相关参数是为了改善网站的性能：减少资源占用，提高访问速度.

fastcgi_connect_timeout 300;

fastcgi_send_timeout 300;

fastcgi_read_timeout 300;

fastcgi_buffer_size 64k;

fastcgi_buffers 4 64k;

fastcgi_busy_buffers_size 128k;

fastcgi_temp_file_write_size 128k;

 

     #upstream的负载均衡，（以权重方式分发），weight是权重，可以根据机器配置定义权重。weigth参数表示权值，权值越高被分配到的几率越大。

upstream blog.nginx.com {

    server 192.168.80.121:80 weight=3;

    server 192.168.80.122:80 weight=2;

    server 192.168.80.123:80 weight=3;

}

      #upstream的负载均衡，（以nginx热备方式分发），其它所有的非backup Server down或者忙的时候，请求backup机器。所以这台机器压力会最轻。

upstream blog.nginx.com {

    server 192.168.80.121:80;

    server 192.168.80.122:80;

    server 192.168.80.123:80 backup;

}

    #开启gzip压缩   

gzip  on;

gzip_disable "MSIE [1-6].";

 

    #设定请求缓冲   

client_header_buffer_size    128k;

large_client_header_buffers  4 128k;

 

    #设定虚拟主机配置

    server {

        #侦听80端口       

listen    80;

        #定义访问地址，域名可以有多个，用空格隔开       

server_name www.nginx.cn nginx.cn ;

 

        #定义服务器的默认网站根目录位置       

root html;

 

        #设定本虚拟主机的访问日志       

access_log  logs/nginx.access.log  main;

 

        #默认请求       

location / {            

   #定义首页索引文件的名称

   index index.php index.html index.htm;   

}

 

         #对 “/” 启用反向代理

location / {

    proxy_pass http://127.0.0.1:88;

    proxy_redirect off;

    proxy_set_header X-Real-IP $remote_addr;

    #后端的Web服务器可以通过X-Forwarded-For获取用户真实IP

    proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;

    #以下是一些反向代理的配置，可选。

    proxy_set_header Host $host;

    client_max_body_size 10m; #允许客户端请求的最大单文件字节数

    client_body_buffer_size 128k; #缓冲区代理缓冲用户端请求的最大字节数

    proxy_connect_timeout 90; #nginx跟后端服务器连接超时时间(代理连接超时)

    proxy_send_timeout 90; #后端服务器数据回传时间(代理发送超时)

    proxy_read_timeout 90; #连接成功后，后端服务器响应时间(代理接收超时)

    proxy_buffer_size 4k; #设置代理服务器（nginx）保存用户头信息的缓冲区大小

    proxy_buffers 4 32k; #proxy_buffers缓冲区，网页平均在32k以下的设置

    proxy_busy_buffers_size 64k; #高负荷下缓冲大小（proxy_buffers*2）

    proxy_temp_file_write_size 64k;

    #设定缓存文件夹大小，大于这个值，将从upstream服务器传

}

 

        #设定查看Nginx状态的地址

location /NginxStatus {

    stub_status on;

    access_log on;

    auth_basic “NginxStatus”;

    auth_basic_user_file conf/htpasswd;

    #htpasswd文件的内容可以用apache提供的htpasswd工具来产生。

}

 

        #本地动静分离反向代理配置

        #所有jsp的页面均交由tomcat或resin处理

location ~ .(jsp|jspx|do)?$ {

    proxy_set_header Host $host;

    proxy_set_header X-Real-IP $remote_addr;

    proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;

    proxy_pass http://127.0.0.1:8080;

}

 

    

    #所有静态文件由nginx直接读取不经过tomcat或resin

location ~ .*.(htm|html|gif|jpg|jpeg|png|bmp|swf|ioc|rar|zip|txt|flv|mid|doc|ppt

                |pdf|xls|mp3|wma)$ { 

    expires 15d; 

}

location ~ .*.(js|css)?$ { 

    expires 1h; 

}

 

        # 定义错误提示页面       

error_page   500 502 503 504 /50x.html;

location = /50x.html {

}

 

        #静态文件缓存时间设置，nginx自己处理       

location ~ ^/(images|javascript|js|css|flash|media|static)/ {            

   #过期30天，静态文件不怎么更新，过期可以设大一点，

   #如果频繁更新，则可以设置得小一点。

   expires 30d;

}

 

        #PHP 脚本请求全部转发到 FastCGI处理. 使用FastCGI默认配置.       

location ~ .php$ {

   fastcgi_pass 127.0.0.1:9000;

   fastcgi_index index.php;

   fastcgi_param  SCRIPT_FILENAME  $document_root$fastcgi_script_name;

   include fastcgi_params;

}

 

        #禁止访问 .htxxx 文件           

location ~ /.ht {

   deny all;

}

    }

}

1.3 Nginx中的upstream轮询机制介绍

Nginx中upstream有以下几种方式：

1、轮询(weight=1) 
默认选项，当weight不指定时，各服务器weight相同，每个请求按时间顺序逐一分配到不同的后端服务器，如果后端服务器down掉，能自动剔除。

upstream bakend {

    server 192.168.1.10;

    server 192.168.1.11;

}

2、weight 
指定轮询几率，weight和访问比率成正比，用于后端服务器性能不均的情况。 
如果后端服务器down掉，能自动剔除。 
比如下面配置，则1.11服务器的访问量为1.10服务器的两倍。

upstream bakend {

    server 192.168.1.10 weight=1;

    server 192.168.1.11 weight=2;

}

3、ip_hash 
每个请求按访问ip的hash结果分配，这样每个访客固定访问一个后端服务器，可以解决session不能跨服务器的问题。 
如果后端服务器down掉，要手工down掉。

upstream resinserver{

    ip_hash;

    server 192.168.1.10:8080;

    server 192.168.1.11:8080;

}

4、fair（第三方插件） 
按后端服务器的响应时间来分配请求，响应时间短的优先分配。

upstream resinserver{

    server 192.168.1.10:8080;

    server 192.168.1.11:8080;

    fair;

}

5、url_hash（第三方插件） 
 按访问url的hash结果来分配请求，使每个url定向到同一个后端服务器，后端服务器为缓存服务器时比较有效。 
 在upstream中加入hash语句，hash_method是使用的hash算法

upstream resinserver{

   server 192.168.1.10:8080;

   server 192.168.1.11:8080;

   hash $request_uri;

   hash_method crc32;

}

设备的状态有: 

1.down 表示单前的server暂时不参与负载 
2.weight 权重,默认为1。 weight越大，负载的权重就越大。 
3.max_fails 允许请求失败的次数默认为1。当超过最大次数时，返回proxy_next_upstream 模块定义的错误 
4.fail_timeout max_fails次失败后，暂停的时间。 
5.backup 备用服务器, 其它所有的非backup机器down或者忙的时候，请求backup机器。所以这台机器压力会最轻。

 

1.4 http_proxy_module模块

1. proxy_pass指令介绍

   proxy_pass指令属于ngx_http_proxy_module模块，此模块可以将请求转发到另一台服务器，在实际的反向代理工作中，会通过location功能匹配指定的URL。然后把接收到符合匹配URL的请求通过proxy_pass抛给定义好的upstream节点池。

1. 下面proxy_pass的使用案例

         a．将匹配URI为那么的请求抛给http://127.0.0.1/romote

location /name/ {

  proxy_pass http://127.0.0.1/romote;

 

        }

       b．将匹配URI为name的请求应用指定的rewrite规则，然后抛给http://127.0.0.1

location /name/ {

            rewrite   /name/([^/]+) /userss?name=$1 break;

            proxy_pass http://127.0.0.1;

        }

1. http proxy模块相关参数

http proxy模块相关参数	说明
proxy_set_header	设置http请求header项传给后端服务器节点，例如：可实现让代理后端的服务器节点获取访问客户端用户的真实IP地址
client_body_buffer_size	用于指定客户端请求主体缓冲区大小
proxy_connect_timeout	表示反向代理与后端节点服务器间的连接超时时间，即发起握手等待响应的时间。
proxy_send_timeout	表示代理后端服务器的数据回传时间，即在规定时间之内后端服务器必须传完所有数据，否则nginx将断开这个连接。
proxy_pass http://server_pools;	通过proxy_pass功能把用户的请求转向到反向代理定义的upstream服务器池。
proxy_set_header Host $host;	在代理向后端服务器发送的http请求头中加入host字段信息，用于当后端服务器有多个虚拟主机时，可以识别代理的是哪个虚拟主机。这是节点服务器多虚拟主机时的关键配置。
proxy_set_header X-Forwarded-For $remote_addr;	在代理向后端服务器发送的http请求头中加入X-Forwarded-For字段信息，用于后端服务器程序、日志等接收记录真实用户的IP，而不是代理服务器的ip这是反向代理时，节点服务器获取用户真实ip的必要功能配置。