python--logging模块

一、简介

　　python的logging模块提供了通用的日志系统，可以方便第三方模块或者是应用使用。这个模块提供不同的日志级别，并可以采用不同的方式记录日志，比如文件，HTTP GET/POST，SMTP，Socket等，甚至可以自己实现具体的日志记录方式。

　　logging模块与log4j的机制是一样的，只是具体的实现细节不同。模块提供logger，handler，filter，formatter。

      logger：提供日志接口，供应用代码使用。logger最长用的操作有两类：配置和发送日志消息。可以通过logging.getLogger(name)获取logger对象，如果不指定name则返回root对象，多次使用相同的name调用getLogger方法返回同一个logger对象。

      handler：将日志记录（log record）发送到合适的目的地（destination），比如文件，socket等。一个logger对象可以通过addHandler方法添加0到多个handler，每个handler又可以定义不同日志级别，以实现日志分级过滤显示。

      filter：提供一种优雅的方式决定一个日志记录是否发送到handler。

      formatter：指定日志记录输出的具体格式。formatter的构造方法需要两个参数：消息的格式字符串和日期字符串，这两个参数都是可选的。

      与log4j类似，logger，handler和日志消息的调用可以有具体的日志级别（Level），只有在日志消息的级别大于logger和handler的级别。

　　logging的日志可以分为debug(),info(),warning(),error() 和 critical()5个级别。

二、用法

2.1 初识

　　logging的5个日志级别debug最低，critical高，日志级别越低输出的信息就越详细。

import logging

logging.debug("This is debug info")
logging.info("This is info infomation")
logging.warning("user [bigberg] attempted wrong password more than 3 times")
logging.error("This is error info")
logging.critical("server is down")

#输出日志
WARNING:root:user [bigberg] attempted wrong password more than 3 times
ERROR:root:This is error info
CRITICAL:root:server is down

　　可以看出python中默认的日志输出级别为 warning()，低于warning()级别以下的就输出了。

2.2 日志级别

 2.3 将日志写入文件

import logging

logging.basicConfig(filename="../log/test.log",level=logging.DEBUG) # 定义文件和日志级别
logging.debug("This is debug info")
logging.info("This is info infomation")
logging.warning("user [bigberg] attempted wrong password more than 3 times")
logging.error("This is error info")
logging.critical("server is down")

　　可以看到日志已经写到test.log的文件中了，我们在此选择的日子级别是DEBUG，所以所有的日子信息都会保存到日志文件中。如果选择选择WARNING级别那么其以下的级别日志信息就不会写入。而且日志是以追加的形式写入test.log文件中的。

2.4 为日志信息增加时间

import logging

logging.basicConfig(filename="../log/test.log",
                    level=logging.INFO,
                    format='%(asctime)s %(levelname)s: %(message)s ',
                    datefmt='%Y/%m/%d %H:%M:%S')
logging.debug("This is debug info")
logging.info("This is info infomation")
logging.warning("user [bigberg] attempted wrong password more than 3 times")
logging.error("This is error info")
logging.critical("server is down")

# %(asctime)s       设置时间格式
# %(levelname)s    日志级别
# %(message)s      日志信息

###日志输出
2017/04/20 18:54:46 INFO: This is info infomation 
2017/04/20 18:54:46 WARNING: user [bigberg] attempted wrong password more than 3 times 
2017/04/20 18:54:46 ERROR: This is error info 
2017/04/20 18:54:46 CRITICAL: server is down 

2.5 format日志格式

 

　　我们可以根据自己的需求在format中添加自己需要的功能，比如在日志输出中添加出错的文件名和所在的行数。

三、复杂日志输出

Python 使用logging模块记录日志涉及四个主要类，使用官方文档中的概括最为合适：

• logger提供了应用程序可以直接使用的接口；
• handler将(logger创建的)日志记录发送到合适的目的输出；
• filter提供了细度设备来决定输出哪条日志记录；
• formatter决定日志记录的最终输出格式。

3.1 logger

1. 每个程序在输出信息前都要获得一个Logger。Logger通常对应了程序的模块名，如一个支付模块Log = logging.getLogger("app.pay")， 如果要日志文件是分开的，比如error 和 access 不在一起，模块名不能一样，否则会写在一起，或者写双份。
2. Logger.setLevel(lel):指定最低的日子级别，低于lel的级别将被忽略。debug是最低的内置级别，critical为最高
3. Logger.addFilter(filt)、Logger.removeFilter(filt):添加或者删除指定的filter
4. Logger.addHandler(hdlr)、Logger.removeHandler(hdlr):添加或者删除指定的handler
5. Logger.debug()、Logger.info()、Logger.warning()、Logger.error()、Logger.critical()：可以设置的日志级别

3.2 handler

 　　handler对象负责发送相关的信息到指定目的地。Python的日志系统有多种Handler可以使用。有些Handler可以把信息输出到控制台，有些Logger可以把信息输出到文件，还有些 Handler可以把信息发送到网络上。如果觉得不够用，还可以编写自己的Handler。可以通过addHandler()方法添加多个多handler。

　　每个Logger可以附加多个handler:

　　1）logging.StreamHandler: 屏幕输出

　　使用这个Handler可以向类似与sys.stdout或者sys.stderr的任何文件对象(file object)输出信息。它的构造函数是：
　　StreamHandler([strm])
　　其中strm参数是一个文件对象。默认是sys.stderr

      

      2) logging.FileHandler: 写入文件
　　和StreamHandler类似，用于向一个文件输出日志信息。不过FileHandler会帮你打开这个文件。它的构造函数是：
　　FileHandler(filename[,mode])
　　filename是文件名，必须指定一个文件名。
　　mode是文件的打开方式。参见Python内置函数open()的用法。默认是’a'，即添加到文件末尾。

同时分别向屏幕和文件输出日志：

import logging

logger = logging.getLogger("TEST-LOG")
logger.setLevel(logging.DEBUG)

# StreamHandler
ch = logging.StreamHandler()
ch.setLevel(logging.WARNING)    # 可以在handler中设置具体的日子级别

# FileHandler
fh = logging.FileHandler("../log/handler.log", encoding="utf-8")
fh.setLevel(logging.ERROR)

# Formatter
ch_formatter = logging.Formatter("%(asctime)s %(filename)s-%(lineno)d %(levelname)s:%(message)s",
                                 datefmt='%Y/%m/%d %H:%M:%S')
fh_formatter = logging.Formatter('%(asctime)s %(filename)s-%(lineno)d %(levelname)s: %(message)s',
                                 datefmt='%Y/%m/%d %H:%M:%S')

ch.setFormatter(ch_formatter)

fh.setFormatter(fh_formatter)

logger.addHandler(ch)
logger.addHandler(fh)

logger.debug("This is debug info")
logger.info("This is info infomation")
logger.warning("user [bigberg] attempted wrong password more than 3 times")
logger.error("This is error info")
logger.critical("server is down")

 屏幕输出：

文件输出：

 3.3 日志文件截断

1.按文件大小截断日志

     logging.handler.RotatingFileHandler

　　这个Handler类似于上面的FileHandler，但是它可以管理文件大小。当文件达到一定大小之后，它会自动将当前日志文件改名，然后创建 一个新的同名日志文件继续输出。比如日志文件是chat.log。当chat.log达到指定的大小之后，RotatingFileHandler自动把 文件改名为chat.log.1。不过，如果chat.log.1已经存在，会先把chat.log.1重命名为chat.log.2。。。最后重新创建 chat.log，继续输出日志信息。它的构造函数是：
RotatingFileHandler( filename[, mode[, maxBytes[, backupCount]]])
其中filename和mode两个参数和FileHandler一样。
maxBytes用于指定日志文件的最大文件大小。如果maxBytes为0，意味着日志文件可以无限大，这时上面描述的重命名过程就不会发生。
backupCount用于指定保留的备份文件的个数。比如，如果指定为2，当上面描述的重命名过程发生时，原有的chat.log.2并不会被更名，而是被删除。　　

import logging
from logging import handlers

logger = logging.getLogger("Test-log")

log_file = "../log/rotaing.log"

# 设置日志文件大小在100B时截断
# 最多保留3个日志文件
fh = handlers.RotatingFileHandler(filename=log_file, maxBytes=100, backupCount=3, encoding="utf-8")

formatter = logging.Formatter('%(asctime)s %(filename)s-%(lineno)d %(levelname)s: %(message)s',
                              datefmt='%Y/%m/%d %H:%M:%S')

fh.setFormatter(formatter)

logger.addHandler(fh)


logger.warning("test1")
logger.warning("test2")
logger.warning("test3")
logger.warning("test4")
logger.warning("test5")

输出的日志文件：

2.按日期截断

　　logging.handlers.TimedRotatingFileHandler

　　这个Handler和RotatingFileHandler类似，不过，它没有通过判断文件大小来决定何时重新创建日志文件，而是间隔一定时间就 自动创建新的日志文件。重命名的过程与RotatingFileHandler类似，不过新的文件不是附加数字，而是当前时间。它的构造函数是：
TimedRotatingFileHandler( filename [,when [,interval [,backupCount]]])
其中filename参数和backupCount参数和RotatingFileHandler具有相同的意义。
interval是时间间隔。
when参数是一个字符串。表示时间间隔的单位，不区分大小写。它有以下取值：
S 秒
M 分
H 小时
D 天
W 每星期（interval==0时代表星期一）
midnight 每天凌晨

import time
import logging
from logging import handlers

logger = logging.getLogger("test-log")

log_file = "../log/time_rotating.log"

# S 代表秒
# interval 间隔时间
# 保留文件3个
fh = handlers.TimedRotatingFileHandler(filename=log_file, when="S", interval=3, backupCount=3, encoding="utf-8")
fh.setLevel(logging.WARNING)

formatter = logging.Formatter('%(asctime)s %(filename)s-%(lineno)d %(levelname)s: %(message)s', datefmt='%Y/%m/%d %H:%M:%S')

fh.setFormatter(formatter)

logger.addHandler(fh)

logger.warning("test1")
logger.warning("test12")
time.sleep(3)
logger.warning("test13")
logger.warning("test14")

 日志文件输出：