1.Nginx日志管理
1.日志简单介绍
Nginx提供了日志记录的功能，日志文件在对我们管理网站十分有用，通过访问日志(access_log)我们可以获取请求来源、客户端信息、请求的资源等信息；通过错误日志(error_log)可以获取错误发生时间、错误信息等，方便我们及时定位和修复错误。看一下Nginx中日志相关的指令。
#设置访问日志：访问日志文件为nginx/logs/mysite.access.log，格式为main access_log logs/mysite.access.log main;
位置 格式 #设置错误日志：错误日志文件为nginx/logs/mysite.error.log,记录级别为error error_log logs/mysite.error.log error;
位置 级别 #定义main格式的日志 log_format main '$remote_addr - $remote_user [$time_local] "$request" ' '$status $body_bytes_sent "$http_referer" ' '"$http_user_agent" "$http_x_forwarded_for"';
在Nginx日志中严重程度：debug<info<notice<warn<error<crit,一般记录warn/error级别；定义日志格式中，$开头的是Nginx中的变量，在前面已经总结过了，为了方便查看本篇底部也放了一份。记录网站的访问/错误日志，十分简单，只需要把access_log/error_log指令放在需要记录的server主机内即可。也可以把access_log/error_log指令放在http中用来记录全局日志。
看一个简单的Nginx配置文件,为了方便演示，这里只配置了默认主机，并删去了Nginx中一些和日志不相关的配置：
worker_processes 2; events { worker_connections 1024; } http { include mime.types; default_type application/octet-stream;#定义main格式的日志 log_format main '$remote_addr - $remote_user [$time_local] "$request" ' '$status $body_bytes_sent "$http_referer" ' '"$http_user_agent" "$http_x_forwarded_for"'; #默认主机 server{ listen 80; server_name localhost; location /{ root html; index index.html; } #访问日志，名字问nginx/logs/mysite.access.log,格式为main格式 access_log logs/mysite.access.log main; #错误日志，记录级别为error error_log logs/mysite.error.log error; } }
当我们输入虚拟机IP会访问到默认主机，这时在nginx/logs目录下自动生成访问日志mysite.access.log和错误日志mysite.error.log。内容如下：
mysite.access.log内容：
访问日志的内容为main格式中定义的信息，某些信息不存在没有显示。我们也可以自定义访问日志的格式。
mysite.error.log内容：
可以看到错误原因是favicon.ico文件找不到，我们也可以知道错误发生的时间，请求，客户端和服务端IP等信息。
2.日志切片
上边我们已经知道怎么去设置访问日志和错误日志，但是这样设置有一个弊端：日志文件都放在同一个文件中，长时间运行后日志文件很大，可能达到几个G，甚至十几个G大小，查看起来很不方便。为了解决这个问题就需要进行日志切片，如每小时或者每天的日志放在一个单独的文件中。怎么实现呢？总体思路是:设置一个定时任务，每隔一段时间将日志文件剪切到一个特定的目录下。
这里以访问日志切片为例，为了方便演示这里把每分钟的访问日志放在一个单独的文件中，首先，添加一个存放日志文件的目录，执行命令 mkdir /usr/local/nginx/logs/mysitelogs ，我们打算把mysite的所有访问日志都放在这个文件夹下。然后添加一个切割日志的脚本，执行命令 vim /usr/local/nginx/mysitelog.sh ，脚本内容如下：
#mysite.com虚拟主机的日志存放路径 LOGPATH=/usr/local/nginx/logs/mysite.access.log #日志备份文件目录,mysite虚拟主机的备份日志放在logs下的单独目录下 BASEPATH=/usr/local/nginx/logs/mysitelogs #一分钟记录一次 bak=$BASEPATH/$(date -d today +%Y%m%d%H%M).mysite.access.log #重名日志文件 mv $LOGPATH $bak touch $LOGPATH #向nginx主进程发送信号，重新写日志 /usr/local/nginx/sbin/nginx -s reopen
最后添加一个定时任务，执行命令 crontab -e ，编辑内容如下，表示每分钟执行一次mysitelog.sh脚本：
* * * * * sh /usr/local/nginx/mysitelog.sh
到这里日志切片就结束了，我们看一个日志文件， cd /usr/local/nginx/logs/mysitelogs 到日志文件夹下，看到日志文件为每分钟存储一次，前缀格式为yyyyMMddhhmm：
补充：我们在实际使用时一般把一天的日志放在一个文件中(高并发量的除外)，下边的脚本实现每天晚上11：30分存储一次日志文件：
#-------------------shell脚本 #该虚拟主机的日志存放路径 LOGPATH=/usr/local/nginx/logs/mysite.access.log #日志备份文件目录,mysite虚拟主机的备份日志放在logs下的单独目录下 BASEPATH=/usr/local/nginx/logs/mysitelogs #一天记录一次,格式为20190326mysite.access.log bak=$BASEPATH/$(date -d yesterday +%Y%m%d)mysite.access.log #重名日志文件 echo $bak mv $LOGPATH $bak touch $LOGPATH #向nginx主进程发送信号，重新打开日志 /usr/local/nginx/sbin/nginx -s reopen #------------------定时任务 30 23 * * * sh /usr/local/nginx/mysitelog.sh
2.常用Nginx配置总结
Nginx的介绍到这里就基本结束了，这里汇总了一些Nginx中最常用的配置
2.1 基本配置
# 用户和用户组 user wyy wyy #工作进程个数，通常设置和逻辑cpu个数一致 worker_processes 8; #cpu亲和性，每个进程分配一个cpu 00000001表示第一个cpu,00000010表示第二个cpu,依次类推 worker_cpu_affinity 00000001 00000010 00000100 00001000 00010000 00100000 01000000 10000000; #如果是两个逻辑cpu，可以设置worker_processes 2; worker_cpu_affinity 01 10; #一个nginx工作进程最多可以打开的文件描述符个数 ，最好和linux最多能打开的文件描述符个数（查看命令：ulimit-n）保持一致。 #出现报错：too open many file，这时我们把worker_rlimit_nofile 值设置大一些就可以了。 worker_rlimit_nofile 65535 #记录的级别严重程度：debug<info<notice<warn<error<crit],一般记录warn/error级别 #错误日志，级别为error error_log logs/error.log error; #记录nginx的master进程的pid pid logs/nginx.pid; events { use epoll ; #多路复用IO的一种方式，效率很高，支持linux2.6以上内核 worker_connections 1024; #每个工作进程的最大连接数，一台nginx的理论最大连接数就是（单个工作进程的最大连接数*工作进程个数） multi_accept on; #尽可能多地接受请求 } http { #媒体类型，定义在nginx/conf/mine.types中 include mime.types; #默认的媒体类型 default_type application/octet-stream; #main日志格式 log_format main '$remote_addr - $remote_user [$time_local] "$request" ' '$status $body_bytes_sent "$http_referer" ' '"$http_user_agent" "$http_x_forwarded_for"'; #访问日志 access_log logs/access.log main; #nginx是否调用sendfile函数（zero,copy等）来输出文件，普通应用都应该设置成on sendfile on; #默认开启，nginx接受到数据包不马上发送，等到数据包达到一定大小再发送，使用Nagle算法控制。减少tcp传输次数，防止网络阻塞 tcp_nopush on; #tcp不延迟，和tcp_nopush相反，接收到数据包就发送，提高数据的实时响应 #tcp_nodelay off; #长连接，请求资源获取完毕后不断开连接，60s后关闭该连接 keepalive_timeout 60; #上传时单个文件最大为10M client_max_body_size 10m; #客户端的请求头缓冲区大小，一般设置为系统分页大小即可（查询系统分页命令:getconf PAGESIZE） #client_header_buffer_size 4k; #客户端的请求体缓冲区大小,超过这个大小存放在临时文件中， #client_body_buffer_size 8k; ######超时管理 代理服务器时才有用 （超时都返回502超时错误） #nginx连接后台服务器超时时间， proxy_connect_timeout 90; #后台服务器回传数据超时时间,90s传输数据未完成就报错 proxy_send_timeout 90; #连接成功，等待后台服务器响应的超时时间 proxy_read_timeout 90; #为打开文件设定缓存，默认是不启用的，max指定缓存数量，建议和最多能打开文件描述符个数（查询命令：ulimit -n）一致，inactive是指经过多长时间文件没被请求后删除缓存 open_file_cache max=65535 inactive=60s; #多久检查一次缓存的有效信息 open_file_cache_valid 30s; #定义负载均衡模块， upstream mysiteServers{ server 123.11.1.2:8080 weight=1 max_fails=2 fail_timeout=30s; server 123.11.1.3:8080 weight=2 max_fails=2 fail_timeout=30s; server 123.11.1.4:8080 weight=3 max_fails=2 fail_timeout=30s; } server{ servername :www.site1.com www.site1.cn; #首页 location = / { proxy_pass http:/123.11.1.1:8080/Home/Index; } #静态文件 location ~* .(gif|jpg|jpeg|png|css|js|ico)$ { root /webroot/res/; #缓存十分钟 expires:600; } #通用规则，用来转发动态请求到后端应用服务器 location / { proxy_pass http://mysiteServers; } }
2.2 压缩配置
gzip可以放在http/server/location/if下,用于压缩请求资源，减小网络传输的数据尺寸。gzip压缩常用于文本类型(css/js等)文件压缩，二进制文件(如图片，视频)压缩比不大，建议使用缓存(expires)进行优化:
#开启gzip压缩 gzip on; #最小压缩大小4000字节，小于4000字节就不压缩了 gzip_min_length 4000; #压缩的缓冲设置，缓冲32块开始输出，每块4k大小 #gzip_buffers 32 4k; #压缩采用的版本 gzip_http_version 1.1; #压缩级别，级别越大压缩后尺寸越小方便传输，但同时压缩时耗费cpu资源也越大（最大为9，一般不要超过6） gizp_comp_level 4; #压缩的文件类型，不属于这些类型的就不压缩（可以通过 cat nginx/conf/mine.types查看文件类型），注：二进制文件如图片/视频的压缩比不大，不建议压缩 gzip_types application/javascript text/plain text/css text/xml; # 是否传输gzip压缩标志，请求头中有vary标志的返回压缩版本文件，没有vary头的返回原始文件 gzip_vary on;
2.3 负载均衡配置
#1.weight #指定轮询权重，weight越大，转发几率越大，一般用于后端服务器性能不均的情况。 upstream mysiteServers{ server 192.168.70.1:8080 weight=1; server 192.168.70.2:8080 weight=3; } #2.ip_hash #每个请求按访问ip的hash结果分配，这样每个访客固定访问一个后端服务器，适用后台服务器缓存多的场合，也可以解决session的问题。 upstream mysiteServers{ ip_hash; server 192.168.70.1:8080; server 192.168.70.2:8080; } #一些参数 upstream mysiteServers{ server 192.168.70.1:8080 down; server 192.168.70.1:8081 weight=2; server 192.168.70.2:8080; server 192.168.70.2:8081 backup; } #1.down表示的server暂时不参与负载均衡,请求不会转发给这台服务器; #2.weight为weight越大，负载的权重就越大； #3.max_fails续请求失败的次数默认为1.当超过最大次数时，不再转发请求给这台服务器； #4.fail_timeout:max_fails次失败后，暂停多久后再向这台服务器转发请求； #5.backup： 其它所有的非backup机器down或者忙的时候，请求backup机器。所以这台机器压力会最轻。
补充:也可以使用第三方模块实现其他负载均衡模式: ①添加nginx-upstream-fair模块可以实现按响应性能进行负载均衡，响应速度越快的服务器分发请求的几率越大； ②添加nginx_upstream_hash模块可以实现按请求url来进行转发请求，url相同的请求由同一个服务器处理，适用于缓存较多场景。
补充：Nginx的一些全局变量
|
变量 |
含义 |
|
$args |
请求中的参数，同$query_string |
|
$content length |
请求头中的Content-length字段。 |
|
$content_type |
请求头中的Content-Type字段。 |
|
$document_root |
当前请求在root指令中指定的值。 |
|
$host |
请求主机头字段，否则为服务器名称。 |
|
$http_user_agent |
用户代理，一般为用户浏览器信息 |
|
$http_cookie |
客户端cookie信息 |
|
$limit_rate |
这个变量可以限制连接速率。 |
|
$request_method |
客户端请求的动作，通常为GET或POST。 |
|
$remote_addr |
客户端的IP地址。 |
|
$remote_port |
客户端的端口。 |
|
$remote_user |
已经经过Auth Basic Module验证的用户名。 |
|
$request_filename |
当前请求的文件路径，由root或alias指令与URI请求生成。 |
|
$scheme |
协议名（如http，https）。 |
|
$server_protocol |
请求使用的协议，通常是HTTP/1.0或HTTP/1.1。 |
|
$server_addr |
服务器地址，在完成一次系统调用后可以确定这个值。 |
|
$server_name |
服务器名称。 |
|
$server_port |
请求到达服务器的端口号。 |
|
$request_uri |
包含请求参数的原始URI，不包含主机名，如”/user/getuser?id=100”。 |
|
$uri |
不带请求参数的当前URI，$uri不包含主机名，如”/user/getuser”。 |
|
$document_uri |
与$uri相同 |
|
$http_x_forwarded_for |
代理过程的IP |