一、hashlib文件一致性校验
为何要进行文件一致性校验?
为了确保你得到的文件是正确的版本,而没有被注入病毒和木马程序。例如我们经常在网上下载软件,而这些软件已经被注入了一些广告和病毒等,如果不进行文件与原始发布商的一致性校验的话,可能会给我们带来一定的损失。
文件一致性校验原理
要进行文件的一致性校验,我们不可能像文本文件比较那样,将两个文件放到一起对比,因为很多的时候文件很大。目前最理想的办法就是,是通过加密算法,对文件生成对应的值,通过生成的值与发布商提供的值比较来确认两个文件是否一致。
MD5和SHA1就是目前使用最为广泛的良种加密算法。
举例:
先手动创建2个文件,file1和file2,内容为123
使用md5计算file1的加密值
import hashlib md5obj = hashlib.md5() # 创建md5对象 with open('file1','rb') as f: content = f.read() # 读取文件所有内容 md5obj.update(content) print(md5obj.hexdigest())
执行输出:
202cb962ac59075b964b07152d234b70
再计算fiel2的加密值,再把上面的代码复制一遍?太low了,如果有多个文件怎么办?
定义一个方法
import hashlib
def check(filename): md5obj = hashlib.md5() # 创建md5对象 with open(filename,'rb') as f: content = f.read() # 读取文件所有内容 md5obj.update(content) return md5obj.hexdigest() ret1 = check('file1') ret2 = check('file2') print(ret1) print(ret2)
执行输出:
202cb962ac59075b964b07152d234b70
202cb962ac59075b964b07152d234b70
从结果上,可以看出是一致的。
修改file2的内容,改成123456
再次校验,执行输出
202cb962ac59075b964b07152d234b70
e10adc3949ba59abbe56e057f20f883e
就可以知道,文件内容不一致了。
但是上面的方法,有一个缺陷,当文件达到GB级别的时候,内存会爆炸
那怎么办呢?先来讲一个小例子
import hashlib md5obj = hashlib.md5() # 创建md5对象 md5obj.update(b'alex sb') # b'string' 表示bytes类型,不能有中文符号 print(md5obj.hexdigest())
执行输出:
3eae6f4760a98a52891a109face75648
拆分字符串
import hashlib md5obj = hashlib.md5() # 创建md5对象 md5obj.update(b'alex ') # 拆分字符串 md5obj.update(b'sb') # print(md5obj.hexdigest())
执行输出:
3eae6f4760a98a52891a109face75648
可以看出2个结果是一样的
结论
一段字符串直接进行摘要和分成几段摘要的结果是相同的
那么就可以把大文件,分段进行md5加密,就可以了
下载一部电影《海上钢琴师》,文件有1.58GB
本片讲述了一个钢琴天才传奇的一生。 豆瓣评分9.2
计算电影的md5值
import hashlib def check(filename): md5obj = hashlib.md5() with open(filename,'rb') as f: while True: content = f.read(1048576) # 每次读取1048576字节,也就是1MB if content: md5obj.update(content) else: break # 当内容为空时,终止循环 return md5obj.hexdigest() ret1 = check('E:迅雷下载[迅雷下载www.2tu.cc]海上钢琴师.BD1280高清中英双字.rmvb') print(ret1)
花费了9秒,执行输出:
30c7f078203d761d3f13bec6f8fd3088
一次性校验,对算法要求没有那么高,用md5就足够了。
总结:
序列化 把数据类型变成字符串
为什么要有序列化 因为在网络上和文件中能存在的只有字节
json 在所有语言中通用 只对有限的数据类型进行序列化 字典 列表 字符串 数字 元组
在多次写入dump数据进入文件的时候,不能通过load来取。
pickle 只能在python中使用 对绝大多数数据类型都可以进行序列化
在load的时候,必须拥有被load数据类型对应的类在内存里
dumps 序列化
loads 反序列化
dump 直接向文件中序列化
load 直接对文件反序列化
shelve
f = open() 打开文件
json和pickle 必须熟练掌握
二、configparser
该模块适用于配置文件的格式与windows ini文件类似,可以包含一个或多个节(section),每个节可以有多个参数(键=值)。
创建文件
来看一个好多软件的常见文档格式如下:
section称之为节点,节点里面的赋值对,称之为项
如果想用python生成一个这样的文档怎么做呢?
import configparser config = configparser.ConfigParser() #创建一个ConfigParser对象 config["DEFAULT"] = {'ServerAliveInterval': '45', #默认参数 'Compression': 'yes', 'CompressionLevel': '9', 'ForwardX11':'yes' } config['bitbucket.org'] = {'User':'hg'} #添加一个节点bitbucket.org config['topsecret.server.com'] = {'Host Port':'50022','ForwardX11':'no'} with open('example.ini', 'w') as configfile: #写入配置文件example.ini config.write(configfile)
执行程序,查看example.ini的内容
[DEFAULT] serveraliveinterval = 45 forwardx11 = yes compression = yes compressionlevel = 9 [bitbucket.org] user = hg [topsecret.server.com] forwardx11 = no host port = 50022
可以看出节点的项,都变成小写了。
这是因为它在写入的时候,将所有字符串使用了lower()方法,转换为小写了。
查找文件
import configparser config = configparser.ConfigParser() config.read('example.ini')
###上面内容为固定部分### print(config.sections()) # 查看所有的节点,但默认不显示DEFAULT,返回列表
执行输出:
['bitbucket.org', 'topsecret.server.com']
下面的代码,固定部分我就不贴了
print('bitbucket.org' in config) # 验证某个节点是否在文件中
执行输出: True
print(config['bitbucket.org']['user']) # 查看某节点下面的某个项的值
执行输出: hg
print(config['bitbucket.org']) # 输出一个可迭代对象
执行输出: <Section: bitbucket.org>
#使用for循环一个可迭代对象 for key in config['bitbucket.org']: # 注意,有default时,会默认输出它的键 print(key)
执行输出:
user
serveraliveinterval
forwardx11
compression
compressionlevel
print(config.items('bitbucket.org')) # 找到'bitbucket.org'下所有的键值对
执行输出:
[('serveraliveinterval', '45'), ('forwardx11', 'yes'), ('compression', 'yes'), ('compressionlevel', '9'), ('user', 'hg')]
print(config.get('bitbucket.org','compression')) # get方法section下的key对应的value
执行输出: yes
增删改操作
增加一个节点
print(config.add_section('yuan')) # 增加一个节点
注意,它不会立即写入!必须执行下面的代码
config.write(open('example.ini', "w")) # 写入文件
open('example.ini',w) 表示清空文件
config.write 表示写入内容
再次查看文件内容:
[DEFAULT] serveraliveinterval = 45 forwardx11 = yes compression = yes compressionlevel = 9 [bitbucket.org] user = hg [topsecret.server.com] forwardx11 = no host port = 50022 [yuan]
删除一个节点
config.remove_section('bitbucket.org') config.write(open('example.ini', "w")) # 写入文件
修改节点
config.set('yuan','k2','222') # yuan节点增加项k2 = 222 config.write(open('example.ini', "w")) # 写入文件
总结:
section 可以直接操作它的对象来获取所有的节信息
option 可以通过找到的节来查看多有的项
三、logging
为了保护数据安全
所有的增加,修改,删除操作,都要记录日志
比如log日志,管理员操作日志,消费记录...
日志给我们在内部操作的时候提供很多遍历
日志给用户提供更多的信息
在程序使用的过程中自己调试需要看的信息
帮助程序员排查程序的问题
logging模块 不会自动帮你添加日志的内容
你自己想打印什么 你就写什么
import logging logging.debug('debug message') # debug 调试模式 级别最低 logging.info('info message') # info 显示正常信息 logging.warning('warning message') # warning 显示警告信息 logging.error('error message') # error 显示错误信息 logging.critical('critical message') # critical 显示验证错误信息
执行输出:
显示红色字体
root表示当前文件的权限
为啥少了2个?这个问题先放一边
logging 有2种配置形式
简单配置
配置logger对象
这2种形式是完全独立的
使用简单配置,局限性比较大
简单模式:默认情况下 只显示 警告 及警告级别以上信息
如果想显示debug,需要调整告警级别
import logging logging.basicConfig(level=logging.DEBUG) # 设置警告级别为debug logging.debug('debug message') # debug 调试模式 级别最低 logging.info('info message') # info 显示正常信息 logging.warning('warning message') # warning 显示警告信息 logging.error('error message') # error 显示错误信息 logging.critical('critical message') # critical 显示验证错误信息
执行输出:
设置info,只显示info以上的错误
能不能只显示一种级别信息呢?不行!
只能打印某个级别以上的信息
增加时间显示
import logging logging.basicConfig(level=logging.DEBUG, format='%(asctime)s %(filename)s[line:%(lineno)d] %(levelname)s %(message)s') logging.debug('debug message') # debug 调试模式 级别最低 logging.info('info message') # info 显示正常信息 logging.warning('warning message') # warning 显示警告信息 logging.error('error message') # error 显示错误信息 logging.critical('critical message') # critical 显示验证错误信息
执行输出:
2018-04-23 19:43:56,982 testt.py[line:58] DEBUG debug message
2018-04-23 19:43:56,982 testt.py[line:59] INFO info message
2018-04-23 19:43:56,982 testt.py[line:60] WARNING warning message
2018-04-23 19:43:56,982 testt.py[line:61] ERROR error message
2018-04-23 19:43:56,982 testt.py[line:62] CRITICAL critical message
设置时间格式
import logging logging.basicConfig(level=logging.DEBUG, format='%(asctime)s %(filename)s[line:%(lineno)d] %(levelname)s %(message)s'), datefmt = '%a, %d %b %y %H:%M:%S', logging.debug('debug message') # debug 调试模式 级别最低 logging.info('info message') # info 显示正常信息 logging.warning('warning message') # warning 显示警告信息 logging.error('error message') # error 显示错误信息 logging.critical('critical message') # critical 显示验证错误信息
执行输出:
2018-04-23 19:46:01,727 testt.py[line:59] DEBUG debug message
2018-04-23 19:46:01,727 testt.py[line:60] INFO info message
2018-04-23 19:46:01,727 testt.py[line:61] WARNING warning message
2018-04-23 19:46:01,727 testt.py[line:62] ERROR error message
2018-04-23 19:46:01,727 testt.py[line:63] CRITICAL critical message
配置参数
logging.basicConfig()函数中可通过具体参数来更改logging模块默认行为,可用参数有: filename:用指定的文件名创建FiledHandler,这样日志会被存储在指定的文件中。 filemode:文件打开方式,在指定了filename时使用这个参数,默认值为“a”还可指定为“w”。 format:指定handler使用的日志显示格式。 datefmt:指定日期时间格式。 level:设置rootlogger(后边会讲解具体概念)的日志级别 stream:用指定的stream创建StreamHandler。可以指定输出到sys.stderr,sys.stdout或者文件(f=open(‘test.log’,’w’)),默认为sys.stderr。若同时列出了filename和stream两个参数,则stream参数会被忽略。 format参数中可能用到的格式化串: %(name)s Logger的名字 %(levelno)s 数字形式的日志级别 %(levelname)s 文本形式的日志级别 %(pathname)s 调用日志输出函数的模块的完整路径名,可能没有 %(filename)s 调用日志输出函数的模块的文件名 %(module)s 调用日志输出函数的模块名 %(funcName)s 调用日志输出函数的函数名 %(lineno)d 调用日志输出函数的语句所在的代码行 %(created)f 当前时间,用UNIX标准的表示时间的浮 点数表示 %(relativeCreated)d 输出日志信息时的,自Logger创建以 来的毫秒数 %(asctime)s 字符串形式的当前时间。默认格式是 “2003-07-08 16:49:45,896”。逗号后面的是毫秒 %(thread)d 线程ID。可能没有 %(threadName)s 线程名。可能没有 %(process)d 进程ID。可能没有 %(message)s用户输出的消息
写入文件
import logging logging.basicConfig(level=logging.DEBUG, format='%(asctime)s %(filename)s[line:%(lineno)d] %(levelname)s %(message)s', datefmt='%a, %d %b %y %H:%M:%S', filename = 'userinfo.log' ) logging.debug('debug message') # debug 调试模式 级别最低 logging.info('info message') # info 显示正常信息 logging.warning('warning message') # warning 显示警告信息 logging.error('error message') # error 显示错误信息 logging.critical('critical message') # critical 显示验证错误信息
执行程序,查看文件内容
某些情况下,查看文件是乱码的。
它的局限性有2个
编码格式不能设置
不能同时输出到文件和屏幕
loggin对象方式
由于简单配置有局限性,logging对象方式更为灵活
import logging logger = logging.getLogger() # 实例化了一个logger对象 #在国外叫handler,在中国翻译过来,叫句柄 #设置文件名和编码 fh = logging.FileHandler('test.log',encoding='utf-8') # 实例化了一个文件句柄 sh = logging.StreamHandler() # 用于输出到控制台 #吸星大法 logger.addHandler(fh) # 吸收写文件功能 logger.addHandler(sh) # 吸收输出屏幕功能 logger.warning('warning message')
执行输出:
warning message
查看文件内容,也是
warning message
这样就具备了同时写入文件以及输出屏幕的技能
增加输出格式功能
import logging logger = logging.getLogger() # 实例化了一个logger对象 #在国外叫handler,在中国翻译过来,叫句柄 #设置文件名和编码 fh = logging.FileHandler('test.log',encoding='utf-8') # 实例化了一个文件句柄 # 格式和文件句柄或者屏幕句柄关联 sh = logging.StreamHandler() # 用于输出到控制台 fmt = logging.Formatter('%(asctime)s - %(name)s - %(levelname)s - %(message)s') # 格式化 fh.setFormatter(fmt) # 格式和文件句柄或者屏幕句柄关联 sh.setFormatter(fmt) #吸星大法 logger.addHandler(fh) # 吸收写文件功能 和logger关联的只有句柄 logger.addHandler(sh) # 吸收输出屏幕功能 logger.setLevel(logging.DEBUG) # 设置警告级别为debug,此处DEBUG源码为DEBUG = 10 logger.debug('debug message') logger.info('info message') logger.warning('warning message')
执行输出:
2018-04-23 20:16:58,850 - root - DEBUG - debug message
2018-04-23 20:16:58,850 - root - INFO - info message
2018-04-23 20:16:58,850 - root - WARNING - warning message
查看文件内容,也是一样的。
那么为什么不能Logger来吸?
因为要解耦
写入和屏幕输出,可以不同
比如:
有一个需求,文件记录所有级别信息,屏幕只显示错误信息
那么解耦就很有必要了。
总结:
logging
logging 是记录日志的模块
它不能自己打印内容 只能根据程序员写的代码来完成功能
logging模块提供5中日志级别,从低到高一次:debug info warning error critical
默认从warning模式开始显示
只显示一些基础信息,我们还可以对显示的格式做一些配置
简单配置 配置格式 basicCondfig
问题:编码问题,不能同时输出到文件和屏幕
logger对象配置
高可定制化
首先创造logger对象
创造文件句柄 屏幕句柄
创造格式
使用文件句柄和屏幕句柄 绑定格式
logger对象和句柄关联
logger.setLevel
使用的时候 logger.debug
四、collections模块
在内置数据类型(dict、list、set、tuple)的基础上,collections模块还提供了几个额外的数据类型:Counter、deque、defaultdict、namedtuple和OrderedDict等。
1.namedtuple: 生成可以使用名字来访问元素内容的tuple
2.deque: 双端队列,可以快速的从另外一侧追加和推出对象
3.Counter: 计数器,主要用来计数
4.OrderedDict: 有序字典
5.defaultdict: 带有默认值的字典
namedtuple
我们知道tuple可以表示不变集合,例如,一个点的二维坐标就可以表示成:
p = (1, 2)
但是,看到(1, 2),很难看出这个tuple是用来表示一个坐标的。
这时,namedtuple就派上了用场:
from collections import namedtuple coordinate = namedtuple('Point',['x','y']) # 定义一个namedtuple类型Point,并包含x,y属性。 p = coordinate(1,2) #创建一个p对象 print(p) print(p.x) # 获取x属性 print(p.y) # 获取y属性
执行输出:
Point(x=1, y=2)
1
2
Point的名字,可以随便定义,它不是关键字
使用名字来取值,代码更清晰
这段代码,类似于面向对象,但是里面的属性不能修改,毕竟它是一个特殊的元组
修改属性值
from collections import namedtuple coordinate = namedtuple('Point',['x','y']) # 定义一个namedtuple类型Point,并包含x,y属性。 p = coordinate(1,2) #创建一个p对象 print(p) print(p.x) # 获取x属性 print(p.y) # 获取y属性 p.x = 4 # 修改值 print(p.x)
执行报错:
p.x = 4
AttributeError: can't set attribute
看下面的代码,可读性比较差
p1 = (0,1) # 表示x和y p2 = (0,2)
如果使用p.x和p.y分别表示x和y坐标,就比较清晰明了
应用场景
time模块
面向对象进阶,纸牌游戏
五、deque
使用list存储数据时,按索引访问元素很快,但是插入和删除元素就很慢了,因为list是线性存储,数据量大的时候,插入和删除效率很低。
deque是为了高效实现插入和删除操作的双向列表,适合用于队列和栈:
from collections import deque #双端队列 import queue #队列 先进先出 fifo
#计算机数据结构模型
#先进先出
# 栈 先进后出
队列,内部维护了严格的顺序
不能跳着取,必须一个一个取。
栈,先从后面取,写入也是从后面写
双端
可以从左边取,也可以从右边取
但是不能从中间取
from collections import deque #双端队列 dq = deque() dq.append(1) # 往右边添加一个元素 dq.append(2) dq.appendleft(3) # 往左边添加一个元素 print(dq) print(dq.pop()) # 获取最右边一个元素,并在队列中删除 print(dq.popleft()) # 获取最左边一个元素,并在队列中删除
执行输出:
deque([3, 1, 2])
2
3
队列是为了维护秩序的,
如果需要用到增删改查,不适合用队列
比如抢票,秒杀,会用到队列
比如500个,同时请求服务器,那么将这些人,放到队列中
队列它是有顺序的,即是是同一秒,也可以区分谁第一
那么前10个,就可以抢到票了,
不能打乱它的顺序
六、OrderedDict
使用dict时,Key是无序的。在对dict做迭代时,我们无法确定Key的顺序。
如果要保持Key的顺序,可以用OrderedDict:
自动维护key的顺序,顺序
那么这个列表的顺序就固定了
dic = {'k1':'v1','k2':'v1','k3':'v1','k4':'v1'} keys = list(dic.keys()) # 转换为列表,那么顺序就固定了 print(keys) for k in keys: print(k,dic[k])
执行输出:
['k2', 'k3', 'k4', 'k1']
k2 v1
k3 v1
k4 v1
k1 v1
上面的代码有缺点,它不能维护k1,k2,k3,k4的顺序
下面介绍有序的字典
dic = dict([('k1','v1'),('k2','v2')]) # 使用列表固定了顺序 print(dic)
执行输出
{'k1': 'v1', 'k2': 'v2'}
使用OrderedDict固定顺序
它内部,维护了一个列表
注意,OrderedDict的Key会按照插入的顺序排列,不是Key本身排序:
from collections import OrderedDict dic = OrderedDict([('k1','v1'),('k2','v2')]) print(dic)
执行输出:
{'k1': 'v1', 'k2': 'v2'}
再增加key,是从后面加
今日作业
写一个函数 参数是两个文件的路径 返回的结果是True/False
答案:
import hashlib def compare(f1,f2): # 校验2个文件是否一致 def check(filename): # 计算文件的md5值 md5obj = hashlib.md5() with open(filename, 'rb') as f: while True: content = f.read(1048576) # 每次读取1048576字节,也就是1MB if content: md5obj.update(content) else: break # 当内容为空时,终止循环 return md5obj.hexdigest() f_1 = check(f1) # 计算f1的md5 f_2 = check(f2) if f_1 == f_2: # 判断md5值 return True else: return False ret = compare('file1','file2') # 校验2个已经存在的文件是否一致 print(ret)
老师的代码:
import hashlib def compare(filename1,filename2): md5sum = [] for file in [filename1,filename2]: md5 = hashlib.md5() with open(file,'rb') as f: while True: content = f.read(1024) if content: md5.update(content) else:break md5sum.append(md5.hexdigest()) if md5sum[0] == md5sum[1]:return True else :return False print(compare('f1','f2'))
明日默写:
import logging logger = logging.getLogger() # 创建一个handler,用于写入日志文件 fh = logging.FileHandler('test.log',encoding='utf-8') # 再创建一个handler,用于输出到控制台 ch = logging.StreamHandler() formatter = logging.Formatter('%(asctime)s - %(name)s - %(levelname)s - %(message)s') fh.setLevel(logging.DEBUG) fh.setFormatter(formatter) ch.setFormatter(formatter) logger.addHandler(fh) #logger对象可以添加多个fh和ch对象 logger.addHandler(ch) logger.debug('logger debug message') logger.info('logger info message') logger.warning('logger warning message') logger.error('logger error message') logger.critical('logger critical message')