• Python日志模块学习,从这里开始...


    消息与记录

    刚才谈到了关于历史账号的文章与消息记录,所以今天想跟大家聊聊Python关于消息记录的模块:日志管理模块 logging。
    学习python的第一课,肯定都是print('Hello Wrold...')。但print仅仅使用于我们日常学习,当我们的程序需要部署上线时,程序必须要具备记录日志与程序输出的功能。此时print就不能满足我们的需求,而logging应运而生。
    logging是python的内置模块,无需安装即可直接使用。logging模块借鉴了Apache的Log4j中很多的功能与特性,使用起来较为方便,不论你是最简单无脑输出还是定义自己的过滤器与格式,最终都能满足大家的需求,所以logging模块是你的必修课!

    Logging入门

    日志级别

    不论是python、java还是C,日志的级别都是统一规定的:

    日志级别 使用范围
    FATAL 致命错误
    CRITICAL 严重的错误,如内存耗尽、磁盘空间不足等.
    ERROR 错误,如IO异常,文件读写异常等
    WARNING 警告类错误,如用户输入密码即将过期提醒等
    INFO 处理请求或者用户操作的状态及日常事务日志
    DEBUG 调试过程中使用的日志等级,可用于后台问题定位

    那么logging中存在哪些?默认分为六种日志级别(括号为级别对应的数值),NOTSET(0)、DEBUG(10)、INFO(20)、WARNING(30)、ERROR(40)、CRITICAL(50)。

    简单日志打印

    说了半天的日志级别,那么这东西对日志记录有什么用?此时我们需要了解LogLevel。logging模块默认记录日志的级别是大于等于WARNING。那么让我们来看第一个例子:

    理想中我们期望的打印结果是从debug到critical,但现实是日志从warning级别开始打印。而且这种日志的打印和print又有什么区别,我们需要丰满日志的内容,提升逼格。

    配置日志输出

    logging提供了basicConfig函数,用于对日志输入进行相关配置。
    让我们来看看basicConfig有哪些可配置参数吧:
    filename: 指定日志文件名
    filemode: 和file函数意义相同,指定日志文件的打开模式,’w’或’a’
    format: 指定输出的格式和内容,format可以输出很多有用信息,如上例所示:
    %(levelno)s: 打印日志级别的数值
    %(levelname)s: 打印日志级别名称
    %(pathname)s: 打印当前执行程序的路径,其实就是sys.argv[0]
    %(filename)s: 打印当前执行程序名
    %(funcName)s: 打印日志的当前函数
    %(lineno)d: 打印日志的当前行号
    %(asctime)s: 打印日志的时间
    %(thread)d: 打印线程ID
    %(threadName)s: 打印线程名称
    %(process)d: 打印进程ID
    %(message)s: 打印日志信息
    datefmt: 指定时间格式,同time.strftime()
    level: 设置日志级别,默认为logging.WARNING
    stream: 指定将日志的输出流,可以指定输出到sys.stderr,sys.stdout或者文件,
        默认输出到sys.stderr,当stream和filename同时指定时,stream被忽略

    通过配置basicConfig,日志输出看起来就工整多了…当看到第一个filename的时候就想到了,现在的日志都是在控制台输出的,我们添加该参数后,就可以将日志输出到文本了,对吧?答案是肯定的,如下图:

    但此时出现一个问题,我们的日志都保存到了文本中,前台的控制栏不再具备日志输出功能了!

    Logging进阶

    刚才提到的入门使用,只是针对logging的一个简单操作,如果我们想深入的去使用logging模块,就必须了解Logger,Handler,Formatter,Filter的概念:

    • Logger提供了应用程序可以直接使用的接口;

    • Handler将(logger创建的)日志记录发送到合适的目的输出;

    • Filters提供了细度设备来决定输出哪条日志记录;

    • Formatter决定日志记录的最终输出格式。

    Logger

    Logger 对象要做三件事情。首先,它们向应用代码暴露了许多方法,这样应用可以在运行时记录消息。其次,记录器对象通过严重程度(默认的过滤设施)或者过滤器对象来决定哪些日志消息需要记录下来。第三,记录器对象将相关的日志消息传递给所有感兴趣的日志处理器。

    常用的记录器对象的方法分为两类:配置和发送消息。

    这些是最常用的配置方法:

    Logger.setLevel()指定logger将会处理的最低的安全等级日志信息, debug是最低的内置安全等级,critical是最高的内建安全等级。例如,如果严重程度为INFO,记录器将只处理INFO,WARNING,ERROR和CRITICAL消息,DEBUG消息被忽略。
    Logger.addHandler()和Logger.removeHandler()从记录器对象中添加和删除处理程序对象。处理器详见Handlers。
    Logger.addFilter()和Logger.removeFilter()从记录器对象添加和删除过滤器对象。

    Handlers

    处理程序对象负责将适当的日志消息(基于日志消息的严重性)分派到处理程序的指定目标。Logger 对象可以通过addHandler()方法增加零个或多个handler对象。举个例子,一个应用可以将所有的日志消息发送至日志文件,所有的错误级别(error)及以上的日志消息发送至标准输出,所有的严重级别(critical)日志消息发送至某个电子邮箱。在这个例子中需要三个独立的处理器,每一个负责将特定级别的消息发送至特定的位置。
    其中常用的有4种:

    • logging.StreamHandler -> 控制台输出

    • logging.FileHandler -> 文件输出

    • logging.handlers.RotatingFileHandler

    • logging.handlers.TimedRotatingFileHandler

    Formatter

    Formatter对象设置日志信息最后的规则、结构和内容,默认的时间格式为%Y-%m-%d %H:%M:%S,下面是Formatter常用的一些信息

    参数 说明
    %(name)s Logger的名字
    %(levelno)s 数字形式的日志级别
    %(levelname)s 文本形式的日志级别
    %(pathname)s 调用日志输出函数的模块的完整路径名,可能没有
    %(filename)s 调用日志输出函数的模块的文件名
    %(module)s 调用日志输出函数的模块名
    %(funcName)s 调用日志输出函数的函数名
    %(lineno)d 调用日志输出函数的语句所在的代码行
    %(created)f 当前时间,用UNIX标准的表示时间的浮 点数表示
    %(relativeCreated)d 输出日志信息时的,自Logger创建以 来的毫秒数
    %(asctime)s 字符串形式的当前时间。默认格式是 “2003-07-08 16:49:45,896”。逗号后面的是毫秒
    %(thread)d 线程ID。可能没有
    %(threadName)s 线程名。可能没有
    %(process)d 进程ID。可能没有
    %(message)s 用户输出的消息

    此时我们就可以实现日志的前后台输出了:

    此时,前后台均输出了相关的日志信息。

    Logging特别操作

    日志切片

    有时候,系统后台的日志会输出的比较频繁,那么我们如何将日志按照大小或者时间进行切片呢?这里就要用到刚才介绍的:

    • logging.handlers.RotatingFileHandler

    • logging.handlers.TimedRotatingFileHandler

    每隔 1000 Byte 划分一个日志文件,备份文件为 3 个
    file_handler = logging.handlers.RotatingFileHandler("test.log", mode="w", maxBytes=1000, backupCount=3, encoding="utf-8")

    每隔 1小时 划分一个日志文件,interval 是时间间隔,备份文件为 10 个
    handler2 = logging.handlers.TimedRotatingFileHandler("test.log", when="H", interval=1, backupCount=10)

    我们以RotatingFileHandler为例,为了演示方便,我设置文件大小为3kb:

    最终实现:

    关于异常日志

    logging模块在对异常获取时,进行了相关的优化操作,来看下这个例子:

    由此可见,当我们在对异常结果进行日志输出时,最好使用logger.exception。
    其实logging模块的内容还有很多,比如封装与继承,今天就先介绍到这里,有空了继续为大家补充。

    The End

    OK,今天的内容就到这里,如果觉得内容对你有所帮助,欢迎点赞。
    期待你关注我的公众号清风Python,如果觉得不错,希望能动动手指转发给你身边的朋友们。

    作者:清风Python

  • 相关阅读:
    牛客网Java刷题知识点之方法覆盖(方法重写)和方法重载的区别
    牛客网Java刷题知识点之自动拆装箱
    安装Phoenix时./sqlline.py执行报错File "./sqlline.py", line 27, in <module> import argparse ImportError: No module named argparse解决办法(图文详解)
    Apache-kylin-2.0.0-bin-hbase1x.tar.gz的下载与安装(图文详解)
    Apache Kylin的架构特性
    Apache Kylin Cube 的存储
    Apache Kylin Cube 的构建过程
    Apache Kylin的核心概念
    中央网络安全和信息化领导小组办公室
    中国智慧城市建设投资联盟
  • 原文地址:https://www.cnblogs.com/2020-zhy-jzoj/p/13165464.html
Copyright © 2020-2023  润新知