包和日志logging模块
一,包
-
为何要使用包?
包的本质就是一个文件夹,那么文件夹的唯一功能就是将文件组织起来,随着功能越写越多,你无法将所有功能放在一个文件中,于是我们使用模块去组织功能,而随着模块越来越多,我们就需要用文件夹将模块文件组织起来,以此来提高程序的结构性和可维护性
-
注意事项
- 关于包相关的导入语句也分为import和from ... import ...两种.但是无论哪种,无论在什么位置，在导入时都必须遵循一个原则:凡是在导入时带点的,点的左边都必须是一个包,否则非法.可以带有一连串的点,如item.subitem.subsubitem,但都必须遵循这个原则.但对于导入后,在使用时就没有这种限制了,点的左边可以是包,模块,函数,类(它们都可以用点的方式调用自己的属性).
- import导入文件时,产生名称空间中的名字来源于文件,import 包，产生的名称空间的名字同样来源于文件即包下的
__init__.py,导入包本质就是在导入该文件 - 包A包B下同名模块不会有冲突,如A.a与B.a来自两个命名空间
-
包的使用
# 示例文件 bolg |____ ceshi #包 | |__ceshi2 #包 | | |__ __init__.py | | |__ m3.py | | | |__ __init__.py | |__ m1.py | |__ m2.py | |____ run.py ---------------------------------------------------- # 文件内容 # m1.py def f1(): print('in ceshi m1 f1') ---------------------------------------------------- # m2.py def f2(): print('in ceshi m2 f2') ---------------------------------------------------- # m3.py def f3(): print('in ceshi2 m3 f3') def f4(): f1()第一类:执行文件通过import导入包以及包内的功能 创建一个包: python package,会自行创建一个__init__.py # 回忆: 创建一个模块发生的三件事: # 1.将该模块加载到内存 # 2.创建一个以模块名命名的名称空间 # 3.通过模块名.的方式引用模块内的所有的名字 ---------------------------------------------------- # 创建一个包,也会发生三件事: # 1.将该包内的__init__.py文件加载到内存 # 2.创建一个以包名命名的名称空间 # 3.通过包.的方式引用__init__的所有的名字 ---------------------------------------------------- # 我想要引用ceshi包的m1文件的f1 # 错误示例1: # 1.ceshi的init里面写了 import f1 # 2.ceshi.f1() # 报错: ModuleNotFoundError: No module named 'f1' # 分析报错原因: 模块找不到就是内存,内置,sys.path三个地方找不到 # f1不在内存,不在内置,不在sys.path,sys.path会自动加载执行文件(包的使用)的当前工作目录 # 解决方式: # 1.在执行文件写inport ceshi # 2. 在ceshi的__init__里面写 from ceshi import m1 import ceshi ceshi.m1.f1() # 或 在在ceshi的__init__里面写 from ceshi.m1 import f1 import ceshi ceshi.f1() ----------------------------------------------------- # 如何在当前文件中,引用ceshi里的ceshi2包 # 1.在执行文件写inport ceshi # 2. 在ceshi的__init__里面写 from ceshi import ceshi2 ----------------------------------------------------- # 如何在当前文件中,引用ceshi包的ceshi2包的m3文件的f3 # 1.在执行文件写入 import ceshi # 2.在ceshi包的__init__写入from ceshi import ceshi2(这样ceshi2包的__init__所有名字都可以引用) # 3.在ceshi2包的__init__写入from ceshi.ceshi2 import m3 # 或 from ceshi.ceshi2.m3 import f3 # 或 from .m3 import f3 (一个.代表当前目录) ceshi.ceshi2.m3.f3()# 第二类: 执行文件通过from...import...导入包以及包内的功能 # 需要注意的是from后import导入的模块,必须是明确的一个不能带点,否则会有语法错误,如:from a import b.c是错误语法 from ceshi import m1 m1.f1() -
绝对导入和相对导入
- 绝对导入:以blog作为起始
- 相对导入:用.或者..的方式最为起始（只能在一个包中使用,不能用于不同目录内）
- 无论对ceshi模块有任何操作,对于使用者来说不应该改变,极少的改变对其的调用方式
- 绝对导入:以执行文件的sys.path为起始点开始导入,称之为绝对导入
- 优点: 执行文件与被导入的模块中都可以使用
- 缺点: 所有导入都是以sys.path为起始点,导入麻烦
- 相对导入:参照当前所在文件的文件夹为起始开始查找,称之为相对导入
- 符号:.代表当前所在文件的文件加,..代表上一级文件夹,...代表上一级的上一级文件夹
- 优点:导入更加简单
- 缺点:只能在导入包中的模块时才能使用
- 注意:相对导入只能用于包内部模块之间的相互导入,导入者与被导入者都必须存在于一个包内
二, logging模块
-
工作日志分四大类:
- 系统日志:记录服务器的一些重要信息:监控系统,cpu温度,网卡流量,重要的硬件指标
- 网站日志:访问异常,卡顿,访问量,点击率,蜘蛛爬取次数
- 辅助开发日志:开发人员在开发项目中,利用日志进行排错,排除一些避免不了的错误(记录),辅助开发
- 记录用户信息的日志:用户消费习惯,新闻偏好等等(数据库解决)
-
日志一般是开发者使用的
-
日志的版本
# low版(简易版) # 缺点:文件于屏幕输出只能选择一个 import logging logging.debug('debug message') logging.info('info message') logging.warning('warning message') logging.error('error message') logging.critical('critical message') # 默认情况下Python的logging模块将日志打印到了标准输出中,且只显示了大于等于WARNING级别的日志,这说明默认的日志级别设置为WARNING（日志级别等级CRITICAL > ERROR > WARNING > INFO > DEBUG),默认的日志格式为日志级别：Logger名称：用户输出消息 ------------------------------------------------- # 灵活配置日志级别，日志格式，输出位置: import logging logging.basicConfig(level=logging.DEBUG, format='%(asctime)s %(filename)s[line:%(lineno)d] %(levelname)s %(message)s', datefmt='%a, %d %b %Y %H:%M:%S', filename='/tmp/test.log', filemode='w') logging.debug('debug message') logging.info('info message') logging.warning('warning message') logging.error('error message') logging.critical('critical message') ------------------------------------------------- # 参数详解 logging.basicConfig()函数中可通过具体参数来更改logging模块默认行为，可用参数有： filename：用指定的文件名创建FiledHandler，这样日志会被存储在指定的文件中。 filemode：文件打开方式，在指定了filename时使用这个参数，默认值为“a”还可指定为“w”。 format：指定handler使用的日志显示格式。 datefmt：指定日期时间格式。 level：设置rootlogger（后边会讲解具体概念）的日志级别 stream：用指定的stream创建StreamHandler。可以指定输出到sys.stderr,sys.stdout或者文件(f=open(‘test.log’,’w’))，默认为sys.stderr。若同时列出了filename和stream两个参数，则stream参数会被忽略。 format参数中可能用到的格式化串： %(name)s Logger的名字 %(levelno)s 数字形式的日志级别 %(levelname)s 文本形式的日志级别 %(pathname)s 调用日志输出函数的模块的完整路径名，可能没有 %(filename)s 调用日志输出函数的模块的文件名 %(module)s 调用日志输出函数的模块名 %(funcName)s 调用日志输出函数的函数名 %(lineno)d 调用日志输出函数的语句所在的代码行 %(created)f 当前时间，用UNIX标准的表示时间的浮 点数表示 %(relativeCreated)d 输出日志信息时的，自Logger创建以 来的毫秒数 %(asctime)s 字符串形式的当前时间。默认格式是 “2003-07-08 16:49:45,896”。逗号后面的是毫秒 %(thread)d 线程ID。可能没有 %(threadName)s 线程名。可能没有 %(process)d 进程ID。可能没有 %(message)s用户输出的消息# 标准版 import logging logger = logging.getLogger() # 创建一个handler，用于写入日志文件 fh = logging.FileHandler('test.log',encoding='utf-8') # 再创建一个handler，用于输出到控制台 ch = logging.StreamHandler() formatter = logging.Formatter('%(asctime)s - %(name)s - %(levelname)s - %(message)s') fh.setLevel(logging.DEBUG) fh.setFormatter(formatter) ch.setFormatter(formatter) logger.addHandler(fh) #logger对象可以添加多个fh和ch对象 logger.addHandler(ch) logger.debug('logger debug message') logger.info('logger info message') logger.warning('logger warning message') logger.error('logger error message') logger.critical('logger critical message') ------------------------------------------------ # logging库提供了多个组件：Logger、Handler、Filter、Formatter。Logger对象提供应用程序可直接使用的接口，Handler发送日志到适当的目的地，Filter提供了过滤日志信息的方法，Formatter指定日志显示格式。另外，可以通过：logger.setLevel(logging.Debug)设置级别,当然，也可以通过fh.setLevel(logging.Debug)单对文件流设置某个级别旗舰版 # 优点: # 1.自定制(通过字典的方式)日志 # 2.轮转日志的功能 import os import logging.config #引入日志配置模块 # 定义三种日志输出格式 开始 standard_format = '[%(asctime)s][%(threadName)s:%(thread)d][task_id:%(name)s][%(filename)s:%(lineno)d]' '[%(levelname)s][%(message)s]' #其中name为getlogger指定的名字 simple_format = '[%(levelname)s][%(asctime)s][%(filename)s:%(lineno)d]%(message)s' id_simple_format = '[%(levelname)s][%(asctime)s] %(message)s' # 定义日志输出格式 结束 logfile_dir = os.path.dirname(__file__) # log文件的目录 logfile_name = 'log.log' # log文件名 # 如果不存在定义的日志目录就创建一个 if not os.path.isdir(logfile_dir): os.mkdir(logfile_dir) # log文件的全路径 logfile_path = os.path.join(logfile_dir, logfile_name) # log配置字典 LOGGING_DIC = { 'version': 1, 'disable_existing_loggers': False, 'formatters': { 'standard': { 'format': standard_format }, 'simple': { 'format': simple_format }, }, 'filters': {}, 'handlers': { #打印到终端的日志 'console': { 'level': 'DEBUG', 'class': 'logging.StreamHandler', # 打印到屏幕 'formatter': 'simple' }, #打印到文件的日志,收集info及以上的日志 'default': { 'level': 'DEBUG', 'class': 'logging.handlers.RotatingFileHandler', # 保存到文件 'formatter': 'standard', 'filename': logfile_path, # 日志文件 'maxBytes': 1024*1024*5, # 日志大小 5M 'backupCount': 5, 'encoding': 'utf-8', # 日志文件的编码，再也不用担心中文log乱码了 }, }, 'loggers': { #logging.getLogger(__name__)拿到的logger配置 '': { 'handlers': ['default', 'console'], # 这里把上面定义的两个handler都加上，即log数据既写入文件又打印到屏幕 'level': 'DEBUG', 'propagate': True, # 向上（更高level的logger）传递 }, }, } logging.config.dictConfig(LOGGING_DIC) # 导入上面定义的logging配置 logger = logging.getLogger(__name__) # 生成一个log实例 logger.info('It works!') # 记录该文件的运行状态