【Python】 日志管理logging

logging

　　*****本文参考了http://www.cnblogs.com/dkblog/archive/2011/08/26/2155018.html

■　　最最基本的用法

　　logging模块用于管理，生成日志信息文件

    ●　　首先logging模块可以简单地向屏幕打印出信息：

　　　　logging.warning('Hello')　　#会在屏幕上输出WARNING:root:Hello的信息

　　在默认情况下，logging只会打印出级别高于warning的信息，比如

　　　　logging.debug("Hello")　　#屏幕上不会出现任何信息

    ●　　logging内置的警戒级别：

　　　　CRITICAL > ERROR > WARNING > INFO > DEBUG > NOTSET

　　

    ●　　当然所谓日志，那肯定是要以文件的形式存在的，通常可以用logging.basicConfig来进行日志文件的指定和一些基础的配置设置

　　basicConfig方法可选的参数有:

　　　　level　　指定日志的最低记录级别，低于次级别的信息将不被记录，默认值为WARNING

　　　　filename　　指定日志文件的文件名

　　　　filemode　　指定日志文件的写入模式是w还是a，默认是a

　　　　format　　　指定日志单条信息的格式

　　　　datefmt　　指定日志中日期时间的格式

　　比如以下这样配置一个logging参数：

　　　　

logging.basicConfig(level=logging.DEBUG,
                           format="%(asctime)s %(filename)s [line %(lineno)d] %(levelname)s %(message)s ",
                            datefmt = "%a, %Y %b %d %H:%M:%S",
                            filename = "/tmp/test.log"
                            )

　　配置完成之后，就可以在程序中用logging.debug/warning/error等方法来记录日志。比如

logging.debug("some debug message.")

#执行完这句话后去/tmp/test.log查看可以看到记录
$cat /tmp/test.log
Mon,2014 May 05 16:29:53 teset_logging.py [line 9] DEBUG some debug message.

 　　上述的logging配置中的format可用的格式化字符串有：

　　%(name)s　　Logger的名字

　　%(levelname)s　　该条记录的级别

　　%(lineno)d　　该条记录行号

　　%(process)d　　添加该条记录的PID

　　%(module)s　　添加此条记录的模块名（就是调用了那句logging语句的脚本的名字）

　　%(funcName)s　　添加了此条记录的函数名

　　%(asctime)s　　字符串形式的时间，默认格式是 %y-%m-%d %H:%M:%S:%MS  可以用datefmt来调整　　

■　　不那么基本的基本用法

　　上面虽然可以简单地进行日志输出了，但是总体而言还是比较simple。一个完整的日志输出体系，不仅要有文件形式，还要有HTTP，socket等多种输出形式；不仅要在发出记录日志的信号后对一个文件写日志，还要能同时进行并行的日志记录；不仅要能写日志，还要能自动备份日志，自动对日志进行分片等等。其实这些功能logging模块也都提供了。下面来看一下这些更加高级点的日志记录方法

　　使用logging模块记录日志，我们必须要有一个logger对象。上面通过basicConfig来记录日志的就是logging给我们创建了一个默认的logger对象。logger对象可以通过logging.getLogger([name])的方法来获取，name在这里是你给logger取得一个名字，虽然不是必须的，但是规范地取一个名字会很有用，可以体现出不同logger间的层级。logger的名字一般遵从域名的命名习惯，比如可以叫app，然后再创建两个叫app.net和app.net.client的logger来代表app这个logger的下面层级的logger。至于层级到底是怎么回事后面再说吧。

　　●  handler类

　　光有一个logger的空壳是没有用的，要进行日志的输出，我们至少还需要一个handler来实际操作。handler的类都在logging.handler里面，有很多种不同的handler来满足不同的日志记录需求。主要有的内置的handler有这些：

　　FileHandler(filename [,mode [,encoding [,delay]]])　　（注意，FileHandler在logging中而不是logging.handlers）经典的文件handler，就是把日志内容写入filename指定的文件，mode是打开文件时的模式默认是'a'，delay是一个boolean参数，如果设置为True，那么会延迟打开文件，即直到发出首条日志消息时才真的调用open方法打开文件

　　HTTPHandler(host ,url [, method])　　HTTPHandler，用于将日志通过HTTP方法传递给指定的HTTP服务器

　　MemoryHandler(capacity [,flushLevel [,target]])　　这个处理器用于收集内存中的日志消息，然后将其转移到另一个处理器target。capacity参数指内存缓冲区的大小，单位是字节。如果没有设置target参数那么需要另外调用setTarget()方法来确定target指向的handler，否则将无法运行

　　RotatingFileHandler(filename[ ,mode[ ,maxBytes[, backupCount [, enoding [, delay]]]]])　　RotatingFileHandler很有意思，和FileHandler类似的，它也是把日志写入文件中的，不过它提供了一个功能，就是当日志文件的大小达到指定大小的时候，就另起一个新文件写入，也就是说实现了日志的分片。最终得到的日志名字是filename,filename.1,filename.2等等。maxBytes指出了单个日志所能达到的最大大小，以字节记，默认值是0，即可以无限增长的单个文件。backupCount指出最多做几个日志文件，默认值是0。需要注意的是，通过这个handler得到的日志文件群，filename是最新的文件，随着filename.1，filename.2……到filename.N为止，依次变老，filename.N才是最早的日志。

　　StreamHandler([fileobj])　　将日志写入已经打开的类文件对象fileobj，如果不提供参数，那么消息会被写入sys.stderr中。

　　TimeRotatingFileHandler(filename[, when [, interval [, backupCount [, encoding [, delay[, utc]]]]]])　　和RotatingFileHandler类似，不过控制日志分片的不是文件大小而是时间。when可以指定为'S','M','H','D','W','midnight'等，配合interval指定的一个数字，表名每隔多长时间（多少）（单位）进行文件的分片。对于每一个分日志，其命名格式是filename.%Y-%m-%d_%H_%M_%S。

　　下面是一个简单的应用实例：

import os
import logging
from logging.handlers import RotatingFileHandler,HTTPHandler

if __name__ == '__main__':
    LOG_FILE = os.path.join(os.path.dirname(os.path.abspath(__file__)),'test.log')
    log = logging.getLogger('testlogger1')
    r_handler = RotatingFileHandler(LOG_FILE,maxBytes=1024*1024,backupCount=5)
    http_handler = HTTPHandler('127.0.0.1','http://127.0.0.1:5050',method='GET')
    log.addHandler(r_handler)
    log.addHandler(http_handler)
    log.setLevel(logging.DEBUG)　　#setLevel指定了这个logger所记录的最低等级的信息

    log.log(level=logging.INFO,msg='This is a info message')

　　这就是一个log一次就既写入文件又发出http请求的logger，log.log这个方法指定了level和msg，是相对低层的方法，当碰到不是默认分级的日志记录可以这么写，对logging自带的那些分级也可直接log.info，log.warn，log.error等等。

　　可以看到logger对象有addHandler方法，这个方法关联了一个logger和一个handler。如果不想要某个handler发挥作用了就可以removeHandler来消除关联。

　　●  Formatter类

　　上面的例子中，日志文件写入的就是This is a info message。如果需要更加详细的信息，就需要给logger指定一个Formatter类的对象来规定日志格式。Formatter的一般使用就是：

　　formatter = Formatter([fmt [, datefmt]])　　fmt，datefmt的具体写法在最上面的basicConfig中有提到，就不说了。datefmt修饰的是fmt中日期时间的部分。

　　handler.setFormatter(formatter)　　将formatter和handler关联起来。注意是关联handler不是logger，因为不同的处理器当然可以有不同样式的格式。切记切记

　　除此之外，Formatter还可以帮助logger在记录每条日志时加上动态的上下文。用法是在Formatter的fmt参数中加上相关字段名，然后调用日志记录方法时加上参数extra。比如：

　　

formatter = Formatter(fmt="%(asctime)s %(filename)s [line %(lineno)d] %(levelname)s %(message)s || %(num)s ",datefmt = "%Y-%m-%d %H:%M:%S")
handler = FileHandler('test.log')
handler.setFormatter(formatter)
log = getLogger('app')
log.addHandler(handler)
random_info = {
    'num':random.random()    #记得保证key的名字和formatter中的要一样，可以写多个key让解释器自由选取解析  
}

log.critical('Some Message',extra=random_info)

##########
#最后日志中
#2017-08-15 13:33:43 test.py [line 19] INFO Some Solid Message Here || 0.217201896973
##########

　　不过如果要这么做，那就要保证每次调用写入日志的方法时都必须带有extra参数，且里面一定要有相关字段存在，否则会报错。

  ●  Filter类

　　从广义上来说，上面提到的log.setLevel其实也是筛选器的一种，它筛选掉了所以级别低于指定级别的日志信息。而狭义上的Filter，是一个类，可以用来对日志信息进行筛选。过滤器直接与logger对象相关联，比如log.setFilter(filter)或者log.removeFilter(filter)这样来用。另一方面，可以自定义一个Filter类来充当过滤器。任何一个类，只要继承自logging.Filter类并且实现了filter(self,record)方法就可以作为过滤器使用。其中，record是指一条日志记录对象，这个方法最终一定要返回一个True或者False，其中做的逻辑判断就是自定义过滤的本体。record这个参数具有的属性大致有以下这些：

　　record.name　记录器名称　　　　record.levelname　级别　　　　record.levelno　级别编号　　　　record.pathname　完整脚本路径　　　　record.filename　脚本名称　　　　record.module　模块名字

　　record.lineno　调用日志发出方法的行数　　　　record.funcName  调用日志发出方法的函数　　　　record.created  发出日志消息的时间　　　　record.thread  线程标识符　　　　record.process  当前进程PID。

　　这个filter感觉和beautifulsoup里面定位html元素时用的filterfunc有异曲同工的意思，比如：

class MyFilter(Filter):
    def __init__(self):
        pass
    def filter(self,record):
        if record.module == 'test':
            return False
        else:
            return True

log = getLogger(...)
log.setFilter(MyFilter())

　　●  关于logger分级和日志上报

　　之前就说过了，给logger取的名字可以体现为不同logger间的层级关系。而层级关系的用处，在默认情况下就是体现为下层logger发出的日志信息会自动上报到上层logger中。比如parent_log = getLogger('app')而child_log = getLogger('app.child')，这样的话在child_log.log写入的东西都会反馈给parent_log对应的文件中（如果设置的是其他handler那么就是其他日志载体）。

　　需要注意的是，在日志上报的机制中，parent_log本身设置的level也好，filter也好都是不起作用的。换句话说，当child_log写出一条日志，这条日志没有被child_log本身的filter和level拒掉的话，那么就一定会反馈到parent_log里面去。这种设定乍一看挺不合理的，但是其反映的是一种分级处理日志信息的一种思想。

　　若想要改变下层logger的默认行为，可以设置logger.propagate这个标志False，就不会上报了。