• Centos下Nginx配置WEB访问日志并结合shell脚本定时切割


    在一个成熟的WEB系统里,没有日志管理是不可以的,有了日志,可以帮助你得到用户地域来源、跳转来源、使用终端、某个URL访问量等相关信息;通过错误日志,你可以得到系统某个服务或server的性能瓶颈等。因此,将日志好好利用,你可以得到很多有价值的信息。

    日志格式及定义

    (1)log_format
    log_format用来设置日志格式,也就是日志文件中每条日志的格式,具体如下:
    log_format name(格式名称) type(格式样式)

    log_format main '$server_name $remote_addr - $remote_user [$time_local] "$request" '
    '$status $uptream_status $body_bytes_sent "$http_referer" '
    '"$http_user_agent" "$http_x_forwarded_for" '
    '$ssl_protocol $ssl_cipher $upstream_addr $request_time $upstream_response_time';

    参数说明:

    $server_name:虚拟主机名称。
    $remote_addr:远程客户端的IP地址。
    -:空白,用一个“-”占位符替代,历史原因导致还存在。
    $remote_user:远程客户端用户名称,用于记录浏览者进行身份验证时提供的名字,如登录百度的用户名scq2099yt,如果没有登录就是空白。
    [$time_local]:访问的时间与时区,比如18/Jul/2012:17:00:01 +0800,时间信息最后的"+0800"表示服务器所处时区位于UTC之后的8小时。
    $request:请求的URI和HTTP协议,这是整个PV日志记录中最有用的信息,记录服务器收到一个什么样的请求
    $status:记录请求返回的http状态码,比如成功是200。
    $uptream_status:upstream状态,比如成功是200.
    $body_bytes_sent:发送给客户端的文件主体内容的大小,比如899,可以将日志每条记录中的这个值累加起来以粗略估计服务器吞吐量。
    $http_referer:记录从哪个页面链接访问过来的。 
    $http_user_agent:客户端浏览器信息
    $http_x_forwarded_for:客户端的真实ip,通常web服务器放在反向代理的后面,这样就不能获取到客户的IP地址了,通过$remote_add拿到的IP地址是反向代理服务器的iP地址。反向代理服务器在转发请求的http头信息中,可以增加x_forwarded_for信息,用以记录原有客户端的IP地址和原来客户端的请求的服务器地址。
    $ssl_protocol:SSL协议版本,比如TLSv1。
    $ssl_cipher:交换数据中的算法,比如RC4-SHA。 
    $upstream_addr:upstream的地址,即真正提供服务的主机地址。 
    $request_time:整个请求的总时间。 
    $upstream_response_time:请求过程中,upstream的响应时间。

    (2)access_log

    access_log指令用来指定日志文件的存放路径(包含日志文件名)、格式和缓存大小,具体如下:
    access_log path(存放路径) [format(自定义日志格式名称) [buffer=size | off]]
    举例说明如下:
    access_log logs/access.log main;
    如果想关闭日志,可以如下:
    access_log off;
    能够使用access_log指令的字段包括:http、server、location。
    需要注意的是:Nginx进程设置的用户和组必须对日志路径有创建文件的权限,否则,会报错。
    小技巧:如果需要在access_log中记录post请求的参数,可以参考这里。
    Nginx支持为每个location指定强大的日志记录。同样的连接可以在同一时间输出到不止一个的日志中,更多信息请查看这里,这里,还有这里。

    下面拿我本地的虚拟机来简单配置一下日志,并获取日志信息。

    日志生成的到Nginx根目录logs/access.log文件,默认使用“main”日志格式,也可以自定义格式。

    在Nginx下配置的虚拟主机

    server {
     listen 80;
     server_name mytest.com;
     location / {
        root /data/wwwroot/default/mytest;   //网站目录
        index index.html;
     }
     access_log  /data/wwwlogs/mytest_log/access_nginx.log main; //日志路径
    当然也可以配置错误日志路径error_log......
    }

    Nginx主配置文件的配置规则

    http { 
      include mime.types;
      log_format  main '$remote_addr - $remote_user  [$time_local]  "$request" '
                            '$status  $body_bytes_sent "http_referer" '
                            ' "$http_user_agent" "$http_x_forwarded_for" ';
    ......
    }

    记得配置完成先命令测试下是否OK,然后在重新加载配置文件

    [root@localhost mytest_log]# nginx -tc /usr/local/nginx/conf/nginx.conf
    nginx: the configuration file /usr/local/nginx/conf/nginx.conf syntax is ok
    nginx: configuration file /usr/local/nginx/conf/nginx.conf test is successful

     下面来说一下定时切割(虽然新版的Nginx已经支持)

    根据上面的配置,确定了日志路径之后,我在/data/crontab目录下创建了一个脚本

    #!/bin/bash
    LOGPATH=/data/wwwlogs/mytest_log/access_nginx.log //nginx的日志路径
    BAKPATH=/data/wwwlogs/bak  //要备份的路径
    bak=$BAKPATH/$(date -d yesterday +%Y%m%d%H%M).mytest.access.log  //定义了的bak变量
    echo $bak  //执行输出一下
    [root@localhost crontab]# chmod 777 nginx_log.sh   //赋权限
    [root@localhost crontab]# ./nginx_log.sh  //执行脚本
    /data/wwwlogs/bak/201801101205.mytest.access.log //输出的格式

    完整脚本如下

    #!/bin/bash
    #设置日志文件存放目录
    LOGPATH=/data/wwwlogs/mytest_log/access_nginx.log
    BAKPATH=/data/wwwlogs/bak
     #备分文件名称
    bak=$BAKPATH/$(date -d yesterday +%Y%m%d%H%M).mytest.access.log
    #echo $bak
     #重命名日志文件
    mv $LOGPATH $bak
    touch $LOGPATH
     #向nginx主进程发信号重新打开日志,确保nginx.pid路径正确
     #[root@localhost wwwlogs]# find / -name nginx.pid
     #/var/run/nginx.pid
    kill -USR1 `cat  /var/run/nginx.pid`

     然后创建定时器

    关于定时器详细的讲解在http://www.cnblogs.com/wt645631686/p/6868672.html

    01 00 * * * /data/crontab/nginx_log.sh  # 每天0时1分(建议在02-04点之间,系统负载小)  

    查看一下/data/wwwlogs/bak就会有日志文件了

  • 相关阅读:
    《译》准备做一些 AR/增强现实的 翻译
    (转)两张Firefox OS 系统截图
    Hello World!
    centos7安装docker
    linux用户及组相关命令
    Go 系列教程 ——第 30 篇:错误处理
    Go 系列教程 ——第 29 篇:Defer
    linux远程管理相关命令
    linux文件目录相关命令
    centos7安装mysql-8.0.15
  • 原文地址:https://www.cnblogs.com/wt645631686/p/8259360.html
Copyright © 2020-2023  润新知