Nginx 反向代理、负载均衡、页面缓存、URL重写以及读写分离

1.环境准备

前端Nginx:10.160.65.44

后端WEB服务器两台:10.160.65.49/10.160.65.50

2.安装Nginx:

下载nginx-1.9.15.tar.gz，放置在目录/usr/local/src目录下面，解压。

./configure

make & make install

在/usr/local/目录下生成了nginx目录

configure的时候可以带很多参数，参数的详细解释如下：

–prefix= 指向安装目录
–sbin-path 指向（执行）程序文件（nginx）
–conf-path= 指向配置文件（nginx.conf）
–error-log-path= 指向错误日志目录
–pid-path= 指向pid文件（nginx.pid）
–lock-path= 指向lock文件（nginx.lock）（安装文件锁定，防止安装文件被别人利用，或自己误操作。）
–user= 指定程序运行时的非特权用户
–group= 指定程序运行时的非特权用户组
–builddir= 指向编译目录
–with-rtsig_module 启用rtsig模块支持（实时信号）
–with-select_module 启用select模块支持（一种轮询模式,不推荐在高载环境下使用）禁用：–without-select_module
–with-poll_module 启用poll模块支持（功能与select相同，与select特性相同，为一种轮询模式,不推荐在高载环境下使用）
–with-file-aio 启用file aio支持（一种APL文件传输格式）
–with-ipv6 启用ipv6支持
–with-http_ssl_module 启用ngx_http_ssl_module支持（使支持https请求，需已安装openssl）
–with-http_realip_module 启用ngx_http_realip_module支持（这个模块允许从请求标头更改客户端的IP地址值，默认为关）
–with-http_addition_module 启用ngx_http_addition_module支持（作为一个输出过滤器，支持不完全缓冲，分部分响应请求）
–with-http_xslt_module 启用ngx_http_xslt_module支持（过滤转换XML请求）
–with-http_image_filter_module 启用ngx_http_image_filter_module支持（传输JPEG/GIF/PNG 图片的一个过滤器）（默认为不启用。gd库要用到）
–with-http_geoip_module 启用ngx_http_geoip_module支持（该模块创建基于与MaxMind GeoIP二进制文件相配的客户端IP地址的ngx_http_geoip_module变量）
–with-http_sub_module 启用ngx_http_sub_module支持（允许用一些其他文本替换nginx响应中的一些文本）
–with-http_dav_module 启用ngx_http_dav_module支持（增加PUT,DELETE,MKCOL：创建集合,COPY和MOVE方法）默认情况下为关闭，需编译开启
–with-http_flv_module 启用ngx_http_flv_module支持（提供寻求内存使用基于时间的偏移量文件）
–with-http_gzip_static_module 启用ngx_http_gzip_static_module支持（在线实时压缩输出数据流）
–with-http_random_index_module 启用ngx_http_random_index_module支持（从目录中随机挑选一个目录索引）
–with-http_secure_link_module 启用ngx_http_secure_link_module支持（计算和检查要求所需的安全链接网址）
–with-http_degradation_module  启用ngx_http_degradation_module支持（允许在内存不足的情况下返回204或444码）
–with-http_stub_status_module 启用ngx_http_stub_status_module支持（获取nginx自上次启动以来的工作状态）
–without-http_charset_module 禁用ngx_http_charset_module支持（重新编码web页面，但只能是一个方向–服务器端到客户端，并且只有一个字节的编码可以被重新编码）
–without-http_gzip_module 禁用ngx_http_gzip_module支持（该模块同-with-http_gzip_static_module功能一样）
–without-http_ssi_module 禁用ngx_http_ssi_module支持（该模块提供了一个在输入端处理处理服务器包含文件（SSI）的过滤器，目前支持SSI命令的列表是不完整的）
–without-http_userid_module 禁用ngx_http_userid_module支持（该模块用来处理用来确定客户端后续请求的cookies）
–without-http_access_module 禁用ngx_http_access_module支持（该模块提供了一个简单的基于主机的访问控制。允许/拒绝基于ip地址）
–without-http_auth_basic_module禁用ngx_http_auth_basic_module（该模块是可以使用用户名和密码基于http基本认证方法来保护你的站点或其部分内容）
–without-http_autoindex_module 禁用disable ngx_http_autoindex_module支持（该模块用于自动生成目录列表，只在ngx_http_index_module模块未找到索引文件时发出请求。）
–without-http_geo_module 禁用ngx_http_geo_module支持（创建一些变量，其值依赖于客户端的IP地址）
–without-http_map_module 禁用ngx_http_map_module支持（使用任意的键/值对设置配置变量）
–without-http_split_clients_module 禁用ngx_http_split_clients_module支持（该模块用来基于某些条件划分用户。条件如：ip地址、报头、cookies等等）
–without-http_referer_module 禁用disable ngx_http_referer_module支持（该模块用来过滤请求，拒绝报头中Referer值不正确的请求）
–without-http_rewrite_module 禁用ngx_http_rewrite_module支持（该模块允许使用正则表达式改变URI，并且根据变量来转向以及选择配置。如果在server级别设置该选项，那么他们将在 location之前生效。如果在location还有更进一步的重写规则，location部分的规则依然会被执行。如果这个URI重写是因为location部分的规则造成的，那么 location部分会再次被执行作为新的URI。 这个循环会执行10次，然后Nginx会返回一个500错误。）
–without-http_proxy_module 禁用ngx_http_proxy_module支持（有关代理服务器）
–without-http_fastcgi_module 禁用ngx_http_fastcgi_module支持（该模块允许Nginx 与FastCGI 进程交互，并通过传递参数来控制FastCGI 进程工作。 ）FastCGI一个常驻型的公共网关接口。
–without-http_uwsgi_module 禁用ngx_http_uwsgi_module支持（该模块用来医用uwsgi协议，uWSGI服务器相关）
–without-http_scgi_module 禁用ngx_http_scgi_module支持（该模块用来启用SCGI协议支持，SCGI协议是CGI协议的替代。它是一种应用程序与HTTP服务接口标准。它有些像FastCGI但他的设计 更容易实现。）
–without-http_memcached_module 禁用ngx_http_memcached_module支持（该模块用来提供简单的缓存，以提高系统效率）
-without-http_limit_zone_module 禁用ngx_http_limit_zone_module支持（该模块可以针对条件，进行会话的并发连接数控制）
–without-http_limit_req_module 禁用ngx_http_limit_req_module支持（该模块允许你对于一个地址进行请求数量的限制用一个给定的session或一个特定的事件）
–without-http_empty_gif_module 禁用ngx_http_empty_gif_module支持（该模块在内存中常驻了一个1*1的透明GIF图像，可以被非常快速的调用）
–without-http_browser_module 禁用ngx_http_browser_module支持（该模块用来创建依赖于请求报头的值。如果浏览器为modern ，则$modern_browser等于modern_browser_value指令分配的值；如 果浏览器为old，则$ancient_browser等于 ancient_browser_value指令分配的值；如果浏览器为 MSIE中的任意版本，则 $msie等于1）
–without-http_upstream_ip_hash_module 禁用ngx_http_upstream_ip_hash_module支持（该模块用于简单的负载均衡）
–with-http_perl_module 启用ngx_http_perl_module支持（该模块使nginx可以直接使用perl或通过ssi调用perl）
–with-perl_modules_path= 设定perl模块路径
–with-perl= 设定perl库文件路径
–http-log-path= 设定access log路径
–http-client-body-temp-path= 设定http客户端请求临时文件路径
–http-proxy-temp-path= 设定http代理临时文件路径
–http-fastcgi-temp-path= 设定http fastcgi临时文件路径
–http-uwsgi-temp-path= 设定http uwsgi临时文件路径
–http-scgi-temp-path= 设定http scgi临时文件路径
-without-http 禁用http server功能
–without-http-cache 禁用http cache功能
–with-mail 启用POP3/IMAP4/SMTP代理模块支持
–with-mail_ssl_module 启用ngx_mail_ssl_module支持
–without-mail_pop3_module 禁用pop3协议（POP3即邮局协议的第3个版本,它是规定个人计算机如何连接到互联网上的邮件服务器进行收发邮件的协议。是因特网电子邮件的第一个离线协议标 准,POP3协议允许用户从服务器上把邮件存储到本地主机上,同时根据客户端的操作删除或保存在邮件服务器上的邮件。POP3协议是TCP/IP协议族中的一员，主要用于 支持使用客户端远程管理在服务器上的电子邮件）
–without-mail_imap_module 禁用imap协议（一种邮件获取协议。它的主要作用是邮件客户端可以通过这种协议从邮件服务器上获取邮件的信息，下载邮件等。IMAP协议运行在TCP/IP协议之上， 使用的端口是143。它与POP3协议的主要区别是用户可以不用把所有的邮件全部下载，可以通过客户端直接对服务器上的邮件进行操作。）
–without-mail_smtp_module 禁用smtp协议（SMTP即简单邮件传输协议,它是一组用于由源地址到目的地址传送邮件的规则，由它来控制信件的中转方式。SMTP协议属于TCP/IP协议族，它帮助每台计算机在发送或中转信件时找到下一个目的地。）
–with-google_perftools_module 启用ngx_google_perftools_module支持（调试用，剖析程序性能瓶颈）
–with-cpp_test_module 启用ngx_cpp_test_module支持
–add-module= 启用外部模块支持
–with-cc= 指向C编译器路径
–with-cpp= 指向C预处理路径
–with-cc-opt= 设置C编译器参数（PCRE库，需要指定–with-cc-opt=”-I /usr/local/include”，如果使用select()函数则需要同时增加文件描述符数量，可以通过–with-cc- opt=”-D FD_SETSIZE=2048”指定。）
–with-ld-opt= 设置连接文件参数。（PCRE库，需要指定–with-ld-opt=”-L /usr/local/lib”。）
–with-cpu-opt= 指定编译的CPU，可用的值为: pentium, pentiumpro, pentium3, pentium4, athlon, opteron, amd64, sparc32, sparc64, ppc64
–without-pcre 禁用pcre库
–with-pcre 启用pcre库
–with-pcre= 指向pcre库文件目录
–with-pcre-opt= 在编译时为pcre库设置附加参数
–with-md5= 指向md5库文件目录（消息摘要算法第五版，用以提供消息的完整性保护）
–with-md5-opt= 在编译时为md5库设置附加参数
–with-md5-asm 使用md5汇编源
–with-sha1= 指向sha1库目录（数字签名算法，主要用于数字签名）
–with-sha1-opt= 在编译时为sha1库设置附加参数
–with-sha1-asm 使用sha1汇编源
–with-zlib= 指向zlib库目录
–with-zlib-opt= 在编译时为zlib设置附加参数
–with-zlib-asm= 为指定的CPU使用zlib汇编源进行优化，CPU类型为pentium, pentiumpro
–with-libatomic 为原子内存的更新操作的实现提供一个架构
–with-libatomic= 指向libatomic_ops安装目录
–with-openssl= 指向openssl安装目录
–with-openssl-opt 在编译时为openssl设置附加参数
–with-debug 启用debug日志

编译执行安装完nginx之后，可以将nginx加入到自启动：

在/etc/init.d/目录下面新建nginx文件，加上可执行权限，文件内容如下：

#!/bin/sh
#
# nginx - this script starts and stops the nginx daemon
#
# chkconfig:   - 85 15 
# description:  Nginx is an HTTP(S) server, HTTP(S) reverse 
#               proxy and IMAP/POP3 proxy server
# processname: nginx
# config:      /etc/nginx/nginx.conf
# config:      /etc/sysconfig/nginx
# pidfile:     /var/run/nginx.pid
 
# Source function library.
. /etc/rc.d/init.d/functions
 
# Source networking configuration.
. /etc/sysconfig/network
 
# Check that networking is up.
[ "$NETWORKING" = "no" ] && exit 0
 
nginx="/usr/local/nginx/sbin/nginx"
prog=$(basename $nginx)
 
NGINX_CONF_FILE="/usr/local/nginx/conf/nginx.conf"
 
[ -f /etc/sysconfig/nginx ] && . /etc/sysconfig/nginx
 
lockfile=/var/lock/subsys/nginx
 
make_dirs() {
   # make required directories
   user=`$nginx -V 2>&1 | grep "configure arguments:" | sed 's/[^*]*--user=([^ ]*).*/1/g' -`
   if [ -z "`grep $user /etc/passwd`" ]; then
       useradd -M -s /bin/nologin $user
   fi
   options=`$nginx -V 2>&1 | grep 'configure arguments:'`
   for opt in $options; do
       if [ `echo $opt | grep '.*-temp-path'` ]; then
           value=`echo $opt | cut -d "=" -f 2`
           if [ ! -d "$value" ]; then
               # echo "creating" $value
               mkdir -p $value && chown -R $user $value
           fi
       fi
   done
}
 
start() {
    [ -x $nginx ] || exit 5
    [ -f $NGINX_CONF_FILE ] || exit 6
    make_dirs
    echo -n $"Starting $prog: "
    daemon $nginx -c $NGINX_CONF_FILE
    retval=$?
    echo
    [ $retval -eq 0 ] && touch $lockfile
    return $retval
}
 
stop() {
    echo -n $"Stopping $prog: "
    killproc $prog -QUIT
    retval=$?
    echo
    [ $retval -eq 0 ] && rm -f $lockfile
    return $retval
}
 
restart() {
    configtest || return $?
    stop
    sleep 1
    start
}
 
reload() {
    configtest || return $?
    echo -n $"Reloading $prog: "
    $nginx -s reload
    RETVAL=$?
    echo
}
 
force_reload() {
    restart
}
 
configtest() {
  $nginx -t -c $NGINX_CONF_FILE
}
 
rh_status() {
    status $prog
}
 
rh_status_q() {
    rh_status >/dev/null 2>&1
}
 
case "$1" in
    start)
        rh_status_q && exit 0
        $1
        ;;
    stop)
        rh_status_q || exit 0
        $1
        ;;
    restart|configtest)
        $1
        ;;
    reload)
        rh_status_q || exit 7
        $1
        ;;
    force-reload)
        force_reload
        ;;
    status)
        rh_status
        ;;
    condrestart|try-restart)
        rh_status_q || exit 0
            ;;
    *)
        echo $"Usage: $0 {start|stop|status|restart|condrestart|try-restart|reload|force-reload|configtest}"
        exit 2
esac

然后执行：

chkconfig --add nginx

chkconfig --level 2345 nginx on

请注意：

为了实现rewrite功能，我们需要安装pcre，这么我们没有安装。后续操作的时候安装。上述服务器列表中有pcre-8.38.tar.gz。

3.正向代理与反向代理

正向代理：一台私有网段的服务器不能上网，在前端放置一台代理服务器，然后通过代理服务器访问网络，通过代理可以访问所有的站点

反向代理：一台公网上的服务器，需要访问私有的服务器，但是私有服务器不允许所有的访问，于是设置一个代理，让访问的客户端觉得这就是你需要访问的服务器，它只代理后端的这一台或者多台服务器

(1).正向代理的概念

       正向代理，也就是传说中的代理,他的工作原理就像一个跳板，简单的说，我是一个用户，我访问不了某网站，但是我能访问一个代理服务器，这个代理服务器呢，他能访问那个我不能访问的网站，于是我先连上代理服务器，告诉他我需要那个无法访问网站的内容，代理服务器去取回来，然后返回给我。从网站的角度，只在代理服务器来取内容的时候有一次记录，有时候并不知道是用户的请求，也隐藏了用户的资料，这取决于代理告不告诉网站。

       结论就是，正向代理 是一个位于客户端和原始服务器(origin server)之间的服务器，为了从原始服务器取得内容，客户端向代理发送一个请求并指定目标(原始服务器)，然后代理向原始服务器转交请求并将获得的内容返回给客户端。客户端必须要进行一些特别的设置才能使用正向代理。

(2).反向代理的概念

继续举例:    

       例用户访问 http://www.test.com/readme，但www.test.com上并不存在readme页面，他是偷偷从另外一台服务器上取回来，然后作为自己的内容返回用户，但用户并不知情。这里所提到的 www.test.com 这个域名对应的服务器就设置了反向代理功能。

       结论就是，反向代理正好相反，对于客户端而言它就像是原始服务器，并且客户端不需要进行任何特别的设置。客户端向反向代理的命名空间(name-space)中的内容发送普通请求，接着反向代理将判断向何处(原始服务器)转交请求，并将获得的内容返回给客户端，就像这些内容原本就是它自己的一样。

(3).两者区别

从用途上来讲：

       正向代理的典型用途是为在防火墙内的局域网客户端提供访问Internet的途径。正向代理还可以使用缓冲特性减少网络使用率。反向代理的典型用途是将防火墙后面的服务器提供给Internet用户访问。反向代理还可以为后端的多台服务器提供负载平衡，或为后端较慢的服务器提供缓冲服务。另外，反向代理还可以启用高级URL策略和管理技术，从而使处于不同web服务器系统的web页面同时存在于同一个URL空间下。

从安全性来讲：

       正向代理允许客户端通过它访问任意网站并且隐藏客户端自身，因此你必须采取安全措施以确保仅为经过授权的客户端提供服务。反向代理对外都是透明的，访问者并不知道自己访问的是一个代理。

　　Nginx的Modules:　　http://nginx.org/en/docs/

 4.配置Nginx反向代理：

        location /forum/ {
                proxy_pass http://192.168.144.49/bbs/;
        }

　　通过访问http://10.160.65.44/forum/---->http://10.160.65.49/bbs/

　我们使用正则表达式来处理

　在Nginx服务上定义配置文件：

        location ~* ^/Forum {　　　　　　#~*表示不区分大小写
                proxy_pass http://192.168.144.49;
        }

　　由于使用正则表达式，那么代理的路径后面不能再接原字符了,所以它只能指向一台服务器。因此apache1服务器是的目录需要跟nginx服务器上目录一致，将bbs修改为forum。

　　通过访问http://10.160.65.44/forum/---->http://10.160.65.49/forum/

 　　但是这样访问存在一个问题，在/var/log/httpd/access_log里面，写入的日志是这样的：

192.168.144.44 - - [28/Oct/2016:12:03:09 +0800] "GET /forum HTTP/1.0" 301 316 "-" "curl/7.15.5 (x86_64-redhat-linux-gnu) libcurl/7.15.5 OpenSSL/0.9.8b zlib/1.2.3 libidn/0.6.5"
192.168.144.44 - - [28/Oct/2016:12:03:18 +0800] "HEAD /forum HTTP/1.0" 301 - "-" "curl/7.15.5 (x86_64-redhat-linux-gnu) libcurl/7.15.5 OpenSSL/0.9.8b zlib/1.2.3 libidn/0.6.5"
~

　　这并不是从Client访问过来的IP地址，对于我们做数据分析提取是无效的，因此修改改为源地址记录:

　　在nginx端修改

        location ~* ^/Forum {
                proxy_pass http://192.168.144.49;
                proxy_set_header X-Real-IP $remote_addr;
        }

　　在Apache端修改日志记录格式：

　　修改/etc/httpd/conf/httpd.conf

LogFormat "%{X-Real-IP}i %h %l %u %t "%r" %>s %b "%{Referer}i" "%{User-Agent}i"" combined

　　重启httpd服务，再次刷新的时候就可以看到相关的远端IP了。

10.140.65.135 192.168.144.44 - - [28/Oct/2016:13:01:11 +0800] "GET /forum/ HTTP/1.0" 304 - "-" "Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/53.0.2785.143 Safari/537.36"

5.负载均衡

　　 负载均衡需要使用ngx_http_upstream_module这个模块，http://nginx.org/en/docs/http/ngx_http_upstream_module.html，其定义在server之外：

    upstream websrvs {
        server 192.168.144.49 weight=1;
        server 192.168.144.50 weight=1;
        }

　　然后修改location里面的定义：

        location / {
                proxy_pass http://websrvs/bbs/;
                proxy_set_header X-Real-IP $remote_addr;
        }

　　这样就实现了负载均衡，通过http://10.160.65.44/可以轮询访问到定义的两个节点。

　　在upstream里面修改websrvs的定义：

    upstream websrvs {
        server 192.168.144.49 weight=1 max_fails=2 fail_timeout=2s;
        server 192.168.144.50 weight=1 max_fails=2 fail_timeout=2s;
        }

　　我们任意停掉一台机器的HTTP服务，负载均衡会自动检测到故障的服务器，而不去访问。

　　如果两台主机都down掉，我们定义一个默认的页面：/web/errorpages/bbs/index.html

　　定义一台server

    server {
        listen  localhost:8080;
        server_name     localhost;
        root    /web/errorpages;
        index   index.html;
    }

　　在upstream中定义backup server

    upstream websrvs {
        server 192.168.144.49 weight=1 max_fails=2 fail_timeout=2s;
        server 192.168.144.50 weight=1 max_fails=2 fail_timeout=2s;
        server 127.0.0.1:8080 backup;
        }

　　这样，当服务器访问到的所有后端服务都down掉的时候，就会访问到backup server定义的默认页面。　

　　down，表示当前的server暂时不参与负载均衡。
　　backup，预留的备份机器。当其他所有的非backup机器出现故障或者忙的时候，才会请求backup机器，因此这台机器的压力最轻。
　　max_fails，允许请求失败的次数，默认为1。当超过最大次数时，返回proxy_next_upstream 模块定义的错误。
　　fail_timeout，在经历了max_fails次失败后，暂停服务的时间。max_fails可以和fail_timeout一起使用。
　　注，当负载调度算法为ip_hash时，后端服务器在负载均衡调度中的状态不能是weight和backup。

 6.Nginx的调度算法

round-robin;
ip-hash;　　#使用ip_hash的时候不能使用backup，不然如果定位到backup上去了就会一直定位到backup上去。
least_conn;

7.Nginx的缓存

　　cache:共享内存，存储键和缓存对象元数据

　　磁盘空间：存储数据

　　利用proxy_cache_path，不能定义在server{}上下文中，只能定义在httpd的上下文中。

　　修改nginx.conf文件

    upstream websrvs {
        server 192.168.144.49 weight=1;
        server 192.168.144.50 weight=1;
        }

    proxy_temp_path   /tmp/proxy_temp_dir;
    proxy_cache_path  /tmp/proxy_cache_dir  levels=1:2   keys_zone=first:200m inactive=3d max_size=30g;

        location / {
                proxy_pass http://websrvs/bbs/;
                proxy_set_header X-Real-IP $remote_addr;
                proxy_cache first;
                proxy_cache_valid    200 302 7d;
                proxy_cache_valid    301 3d;
                proxy_cache_valid    any 1m;
        }

　　访问以后，在对应的/tmp/proxy_cache_dir目录下有生成相应的cache文件：

[root@nginx proxy_cache_dir]# tree 
.
`-- 3
    `-- d8
        `-- 73d4237ea45b2bde4eeccdd106ac3d83

2 directories, 1 file