日志服务支持通过数据接入向导配置采集Nginx日志,并自动创建索引和Nginx日志仪表盘,达到快速采集并分析Nginx日志。
很多个人站长选取Nginx作为服务器搭建网站,在对网站访问情况进行分析时,需要对Nginx访问日志统计分析,从中获得网站的访问量,访问时段等访问情况,传统模式下利用CNZZ模式,在前端页面插入js,用户访问的时候触发js,但只能记录页面的访问请求,像ajax之类的请求是无法记录的,还有爬虫信息也不会记录。或者利用流计算、离线统计分析Nginx访问日志,从日志中挖掘有用信息,但需要搭建一套环境,并且在实时性以及分析灵活性难以平衡。通过对两种方式相互补充,才能对网站的状况有更加深入的了解。
日志服务在支持查询分析时实时日志功能,同时提供Nginx日志仪表盘(Dashboard),极大的降低了Nginx访问日志的分析复杂度,可以用于便捷统计网站的访问数据。接下来以分析Nginx访问日志为例,介绍日志分析功能在分析Nginx访问日志场景下的详细步骤。
日志文件是以.log为后缀的,登录到网站看到日志文件为:
[root@tianyun ~]# cd log/
[root@tianyun log]# ls
a.txt log.sh
cd.mobiletrain.org.log qd.mobiletrain.org.log xa.mobiletrain.org.log
dl.mobiletrain.org.log sh.mobiletrain.org.log zz.cdn-my.mobiletrain.org.log
gz.mobiletrain.org.log sz.mobiletrain.org.log
hz.mobiletrain.org.log wh.mobiletrain.org.log
Nginx服务器日志的log_format格式为:
log_format main ‘$remote_addr - $remote_user [$time_local] “$request” ’
‘$status $boby_bytes_sent “$http_referer” '
‘”$http_user_agent” “$http_x_forwarded_for” ’;
106.117.249.14 - - [22/Mar/2017:11:26:18 +0800] “GET /d/file/c6649665d77368df2b17dc401de25016.jpg HTTP/1.1” 200 4875 “Mozilla/5.0 (iPhone; CPU iPhone OS 10_0_2 like Mac OS X; zh-CN) AppleWebKit/537.51.1 (KHTML, like Genko) Mobile/14A456 UCBrowser/11.3.0.895 Mobile AliApp(TUnionSDK/0.1.6)”