日志是我们项目开发中必不可少的,通过日志可以快速排查项目中的问题,日志对于项目的重要性不言而喻。
在python涉及的web开发中,我们常用就是django
框架了,尽管django
框架强大,日志模块部分,我们可以使用logging
模块进行相关配置,完善web项目的日志部分。下面就对logging
模块的相关使用做个总结分享,也为以后的开发留存记录,方便随时翻阅。
内容主要分setting.py
部分配置,视图或中间件部分配置,通过在setting.py
配置实现全局配置,在视图或中间件部分配置实现具体那些部分记录何种日志,话不多说,看以下总结。
1.setting.py的日志配置
首先先来看看在django
项目中setting.py
的配置。
# 日志文件存放路径,当然也可以指明一般的存储路径,比如BASE_DIR="/var/log/项目/服务名/logs/"
BASE_LOG_DIR = os.path.join(BASE_DIR, "log")
# Logging配置,通过此配置,可以实现以下功能:
# 1.哪些模块中记录日志,2.配置日志的级别,3.具体日志文件名,4.日志格式,5.切分日志(时间或大小),6.日志编码方式
LOGGING = {
'version': 1, # 保留字
'disable_existing_loggers': False, # 是否禁用Django框架开发的时候已经存在的Logger实例,True的话,即禁用django本身存在的日志,否则,默认False,不对本身存在的日志禁用处理
# part 1
'formatters': { # 格式化器,用以定义日志应该以何种格式记录
'standard': { # 标准的格式
'format': '[%(asctime)s][%(threadName)s:%(thread)d][task_id:%(name)s][%(filename)s:%(lineno)d]'
'[%(levelname)s][%(message)s]'
},
'simple': { # 简单的格式
'format': '[%(levelname)s][%(asctime)s][%(filename)s:%(lineno)d]%(message)s'
},
'collect': { # 自定义格式,这个名字可以随意起
'format': '%(message)s'
}
},
# part 2
'filters': { # 过滤器
'require_debug_true': {
'()': 'django.utils.log.RequireDebugTrue',
},
},
# part 3
'handlers': { # 处理器
'console': { # 定义一个在终端输出的处理器,基本设置
'level': 'DEBUG', # 日志级别
'filters': ['require_debug_true'], # 只有在Django debug为True时才在屏幕打印日志
'class': 'logging.StreamHandler', # 日志流
'formatter': 'simple' # 用简单格式打印日志
},
'SF': { # 定义一个名为SF的日志处理器(名字自己定义即可),这通常就是自己项目中用到的处理器,会记录到日志文件
'level': 'INFO', # 日志级别
'class': 'logging.handlers.RotatingFileHandler', # 保存到文件,根据文件大小自动切
'filename': os.path.join(BASE_LOG_DIR, "xxx_info.log"), # 日志文件,路径及日志文件名
'maxBytes': 1024 * 1024 * 50, # 日志大小 50M
'backupCount': 3, # 备份数为3 xx.log --> xx.log.1 --> xx.log.2 --> xx.log.3
'formatter': 'standard', # 用标准格式打印日志
'encoding': 'utf-8',
},
'TF': { # 定义一个名为TF的日志处理器(名字自己定义即可),比如项目有多个需求,需要配置多个日志部分
'level': 'INFO',
'class': 'logging.handlers.TimedRotatingFileHandler', # 保存到文件,根据时间自动切,根据时间切的,通常是请求/响应
'filename': os.path.join(BASE_LOG_DIR, "xxx_info.log"), # 日志文件
'backupCount': 3, # 备份数为3 xx.log --> xx.log.2018-08-23_00-00-00 --> xx.log.2018-08-24_00-00-00 --> ...
'when': 'D', # 每天一切, 可选值有S/秒 M/分 H/小时 D/天 W0-W6/周(0=周一) midnight/如果没指定时间就默认在午夜
'formatter': 'standard',
'encoding': 'utf-8',
},
'error': {
'level': 'ERROR',
'class': 'logging.handlers.RotatingFileHandler', # 保存到文件,自动切
'filename': os.path.join(BASE_LOG_DIR, "xxx_err.log"), # error日志文件
'maxBytes': 1024 * 1024 * 5, # 日志大小 50M
'backupCount': 5,
'formatter': 'standard',
'encoding': 'utf-8',
},
'collect': {
'level': 'INFO',
'class': 'logging.handlers.RotatingFileHandler', # 保存到文件,自动切
'filename': os.path.join(BASE_LOG_DIR, "xxx_collect.log"),
'maxBytes': 1024 * 1024 * 50, # 日志大小 50M
'backupCount': 5,
'formatter': 'collect',
'encoding': "utf-8"
}
},
# part 4
'loggers': { # 日志实例
'': { # 日志实例对象默认配置
'handlers': ['SF', 'console', 'error'], # 使用哪几种处理器,上线之后可以把'console'移除
'level': 'DEBUG', # 实例的级别
'propagate': True, # 是否向上传递日志流
},
'collect': { # 名为 'collect'的logger对象实例还单独处理
'handlers': ['console', 'collect'],
'level': 'INFO',
},
'application_xx.module_xx': { # 为某个具体module配置日志处理
'handlers': ['console', 'collect', 'SF'],
'level': 'INFO',
},
},
}
通过上面的logging
配置,可以实现django
项目的日志记录配置,主要:哪些模块记录何种日志
,存储位置
,备份情况
。
2.具体使用位置-views.py
| 某些自己写的middleware
views.py
import logging
# 生成一个以当前模块名为名字的Logger实例,info以上的级别存到xx_info.log
logger = logging.getLogger(__name__)
# 生成一个名为collect的Logger实例,info以上的级别存到xx_collect.log
collect_logger = logging.getLogger('collect')
def permission_update(request):
all_user = UserInfo.objects.all()
all_role = Role.objects.all()
all_menu = Menu.objects.all()
user_id = request.GET.get('user_id', None)
user_obj = UserInfo.objects.filter(pk=user_id).first()
role_id = request.GET.get('role_id', None)
role_obj = Role.objects.filter(id=role_id).first()
if request.method == 'POST':
post_type = request.POST.get('post_type', None)
logger.debug('获取到了post_type:{}'.format(post_type)) # debug日志
if user_id and post_type == 'role':
role_id_list = request.POST.getlist('role_id')
user_obj.roles.set(role_id_list)
logger.info('用户:{}跟新了{}的角色'.format(request.user.username, user_obj.username)) # 默认实例的info日志
if role_id and post_type == 'permission':
permission_id_list = request.POST.getlist('permission_id')
role_obj.permissions.set(permission_id_list)
collect_logger.info('{}跟新了{}的权限'.format(request.user.username, role_obj.title)) # collect实例的info日志
return render(
request,
'rbac/permission_update.html',
{
...: ...
}
)
自己写的middleware
首先我们在setting.py
中设置自己的中间件:
设置后,在server接收处理请求时,按照中间件的访问处理机制顺序处理,在合适的位置,放置logger
:
logger = logging.getLogger(__name__)
class xxxDebugLogMiddleware(MiddlewareMixin): # 自定义中间件
"""
Middleware to debug log.
"""
def init(self, get_response):
self.get_response = get_response
# One-time configuration and initialization.
def __call__(self, request):
hasattr(request, 'body')
response = self.get_response(request)
debuglog(request, response) # 日志记录
return response
debuglog
中自定义记录哪些变量,具体在debuglog
函数中的处理:
通过设置,可以实现记录我们需要的的日志信息,日后开发如有需要,复制后定制编写即可完成django项目的日志配置。