apache日志生成器+apache日志分析器

问题描述：

apache日志记录了很多访问者的信息

网络上已经有了很多专业的apache日志分析工具

本文首先给出了一个简易apache日志生成器

然后用python对该日志做了一些常见的分析

目的1：是为了熟练python及python里的re模块

目的2：了解一些apache日志分析

=======================================================================

本文的apache日志主要生成如下几个部分：
远程主机地址 - - [时间] "METHOD RESOURCE PROTOCOL" 状态代码 发送给客户端的总字节数

例如：97.83.32.128 - - [22/Jun/2012:04:47:01 +0800] "GET /abc/acb/abc/?bac=0 HTTP/1.1" 300 1676

废话不多说，先给出apache日志生成器的代码

import random
def generate_mrp():
    method_list = ['GET', 'POST', 'HEAD']
    re_li = ['abc', 'acb', 'bac', 'bca', 'cab', 'cba']
    method = method_list[random.randint(0, 2)]
    resource ='/%s/%s/%s/?%s=%s' % (re_li[random.randint(0, 5)], re_li[random.randint(0, 5)],
                                    re_li[random.randint(0, 5)], re_li[random.randint(0, 5)], random.randint(0, 3))
    return '\"%s %s HTTP/1.1\"' % (method,resource)

def generate_ip():
    global global_ip
    if random.random() > 0.2:
        temp = []
        for i in range(4):
            id = random.randint(1, 128)
            temp.append(str(id))
        global_ip = '.'.join(temp)
    return global_ip

def generate_time():
    global global_time
    if random.random() < 0.2:
        return global_time
    month_list = ['Jan', 'Feb', 'Mar', 'Apr', 'May', 'Jun', 'Jul', 'Aug', 'Sep', 'Oct', 'Nov', 'Dec']
    day = random.randint(1, 31)
    rmonth = random.randint(4, 5)
    month = month_list[rmonth]
    year = 2012
    hour = random.randint(0, 23)
    if hour < 10:
        hour = '0' + str(hour)
    minute = random.randint(0, 59)
    second = random.randint(0, 59)
    if minute < 10:
        minute = '0' + str(minute)
    if second < 10:
        second = '0' + str(second)
    global_time = '[%s/%s/%s:%s:%s:%s +0800]' % (day, month, year, hour, minute, second)
    return global_time

#start here
global_ip = '127.0.0.1'
global_time = '[5/Nov/2012:12:01:07 +0800]'

print 'please enter the number of log to generate'
while True:
    try:
        number = input()
    except NameError:
        print  'please enter an number'
        continue
    if number <= 0:
        print 'please enter an possitive number'
        continue 
    break

print 'please enter a filename to output the apache log data'
filename = raw_input()
f=open(filename, 'w')
while number:
    temp=[]
    temp.append(generate_ip())
    temp.append('- -')
    temp.append(generate_time())
    temp.append(generate_mrp())
    temp.append(str(100 * random.randint(1, 3)))
    temp.append(str(random.randint(0, 2000)))
    f.write(' '.join(temp) + '\n')
    number = number - 1
f.close()

=======================================================================

 至于apache日志分析，本文主要做了如下两个 分析 不过可以扩展。

3. 对于apache日志, 找出类似爬虫的查询语句(同一个ip一天访问次数超过N次), 放到以扫描当天日期如20090704命名的文件中

使用了一个dic（a, list[b, c]），a是由ip地址和日期 生成的hash值, b 是ip地址 c是计数用

4. 对于apache日志，统计所有query的pv和平均pv

同理使用了一个dic（a, list[b, c, d]) , a是由日期生成 的hash值， b是日期 c 是当天的pv值，d是当天ip数（去重复）

为了去重复这里 d用的是一个set

还有一点这里的pv没有考虑局域网内多个用户共用一个IP地址的情况，假设一个IP就一个用户在用。

如果要考虑的话还要 检测cookie

目前没想到更好的方法 如果你有更好的方法 一定要告诉我

 最后给出apache日志分析器的代码

import time
import re

class Apache(object):
    filename = 'apache.log'
    number = 1
    #global range means the range of the number you can enter is [0: range]
    range = 3
    linedata = []
    def show(self):
        print '>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>'
        print '>>please enter a number to start the apache log analysis                   >>' 
        print '>>1:找出同一天访问次数超过N次的IP并放到以扫描当天日期命名的文件中          >>'
        print '>>2:统计每天所有query的pv和平均pv并放到文件pv                              >>'
        print '>>3:'
        print '>>0:exit system                                                            >>'
        print '>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>'
        self.range = 3

    def input_number(self, low, up):
        try:
            self.number = input()
        except NameError:
            print '\n!!please enter an number'
            return False
        if self.number >= low and self.number <=up :
            return True
        else:
            print '\n!!please enter an number in [0:'+str(self.range)+']'
            return False

    def analysis(self):
        try:
            f=open(self.filename, 'r')
        except IOError:
            print '\n!!file %s is not exits' % apache.filename
            exit(0)
        data = f.readlines()
        for line in data:
            self.linedata.append(re.split(' ',line))
        while self.number:
            self.show()
            if not self.input_number(0, self.range):
                continue
            if self.number == 0:
                print '\n!!system exiting, byebye'
            else:
                if not self.method():
                    continue
            print '\n!!finished'

    def method(self):
        if self.number == 1:
            print '\n!!please enter the number N'
            if not self.input_number(1, 1000000):
                return False
            strtime = time.strftime("%Y%m%d",time.localtime())
            f = open(strtime, 'w')
            count = {}
            for line in self.linedata:
                iptime = re.split('/', line[3])
                temp = line[0] + iptime[0] + iptime[1] +']'
                key = hash(temp)
                if key in count:
                    count[key] = [temp, count[key][1] + 1]
                else:
                    count[key] = [temp, 1]
            for k, v in count.items():
                if v[1] > self.number:
                    f.write('%s %s\n' % (v[0], v[1]))
            f.close()
            return True

        if self.number == 2:
            f = open('pv.txt', 'w')
            count = {}
            for line in self.linedata:
                timelist = re.split('/', line[3])
                iplist = re.split('\.', line[0])
                monthday = timelist[0] + timelist[1] + ']'
                ipnum = int(''.join(iplist))
                key = hash(monthday)
                if key in count:
                    count[key][1] = count[key][1] + 1
                    count[key][2].add(ipnum)
                else:
                    ipset=set()
                    ipset.add(ipnum)
                    count[key] = [monthday, 1, ipset]
            
            for k, v in count.items():
                f.write('%s %s %s\n' %(v[0], v[1], float(v[1]) / len(v[2])))
            f.close()

if __name__ == '__main__':
    apache = Apache()
    apache.analysis()

最后很多分析工作可以结合shell命令来做比如：

问题1：在apachelog中找出访问次数最多的10个IP。

awk '{print $1}' apache.log |sort |uniq -c|sort -nr|head

问题2：在apache日志中找出访问次数最多的几个分钟。

awk '{print $4}' apache.log |awk -F"/" '{print $3}'|cut -c 6-10|sort|uniq -c|sort -nr|head

问题3：在apache日志中找到访问最多的页面：

awk '{print $7}' apache.log|sort|uniq -c|sort -nr|head

问题4：分析日志查看当天的ip连接数

grep '22/Jun/2012' apache.log| awk '{print $1}' |wc -l

问题5：查看指定的ip在当天究竟访问了什么urlgrep '^97.83.32.128.*22/Jun/2012' apache.log| awk '{print $7}'

用apache日志生成器生成日志后 就可以直接使用上面的命令了

分析apache日志还是很有用的，可惜我的数据是随机生成的，很多规律都无法模拟。

如果要较真实的模拟的话，还得改下代码。