linux下常用的日志分析命令【转】

形如下面这样的access.log日志内容：  

211.123.23.133 – - [10/Dec/2010:09:31:17 +0800] “GET /query/trendxml/district/todayreturn/month/2009-12-14/2010-12-09/haizhu_tianhe.xml HTTP/1.1″ 200 1933 “-” “Mozilla/5.0 (Windows; U; Windows NT 5.1; zh-CN; rv:1.9.2.8) Gecko/20100722 Firefox/3.6.8 (.NET CLR 3.5.30729)”

必须借助命令或脚本才可以分析、提取出有价值的内容。

以下是收集的一些用于日志分析的命令或脚本

1，查看apache的进程数  

复制代码代码示例:

ps -aux | grep httpd | wc -l

2，分析日志查看当天的ip连接数  

复制代码代码示例:

cat default-access_log | grep “10/Dec/2010″ | awk ‘{print $2}’ | sort | uniq -c | sort -nr

3，查看指定的ip在当天究竟访问了什么url  

复制代码代码示例:

cat default-access_log | grep “10/Dec/2010″ | grep “218.19.140.242″ | awk ‘{print $7}’ | sort | uniq -c | sort -nr

4，查看当天访问排行前10的url  

复制代码代码示例:

cat default-access_log | grep “10/Dec/2010″ | awk ‘{print $7}’ | sort | uniq -c | sort -nr | head -n 10

5，看到指定的ip究竟干了什么  

复制代码代码示例:

cat default-access_log | grep 218.19.140.242 | awk ‘{print $1″ ”$8}’ | sort | uniq -c | sort -nr | less

6，查看访问次数最多的几个分钟(找到热点)  

复制代码代码示例:

awk ‘{print $4}’ default-access_log |cut -c 14-18|sort|uniq -c|sort -nr|head

7，统计一个文本中包含字符个数  

复制代码代码示例:

cat pic.access.log |grep /2012/ |wc -l cat c_access.log |grep "/message/publishmsg/|/message/publish/" >test1.log