day16 常用模块 sys os json pickle

知识点

os:和操作系统相关sys:和解释器相关

json:和操作JSON(一种数据交换格式)相关pickle:序列化

hashlib:加密算法Collections:集合类型

os:操作系统接口

此模块提供了灵活的和操作系统相关的函数. os.remove(file_path) :删除文件os.rmdir(dir_path) :删除空文件夹

删除非空文件夹使用另一个模块:shutil

shutil.rmtree(path) os.removedirs(name) :递归删除空文件夹

os.rename(src, dst) :文件,目录重命名,目标不能事先存在.

举例:

使用shutil模块删除非空目录.

和路径相关的属性,更多相关的操作被封装在os.path这个模块中.

os.curdir :当前路径os.sep :路径分隔符os.altsep :备用的分隔符os.extsep :扩展名分隔符os.pathsep :路径分隔符

os.linesep :行分隔符,不要在写文件的时候,使用这个属性.

举例:

os.path模块

此模块实现了一些在路径操作上的方法.

获取功能

 

os.path.abspath(path) :返回一个路径的绝对路径.

如果参数路径是相对的路径,就把当前路径和参数路径的组合字符串当成结果返回. 如果参数路径已经是绝对路径,就直接把参数返回.

如果参数路径以/开始,则把当前盘符和参数路径连接起来组成字符串返回.

注意:

此方法只是简单的将一个拼接好的字符串返回,并不会去检查这个字符串表示的文件是否存在. 样例:

os.path.split(path)  :返回一个元组,第二个元素表示的是最后一部分的内容,第一个元素表示的是剩余的内容.

如果只是一个盘符或者是以路径分隔符结尾的字符串,则第二个元素为空. 否则第二个元素就是最后一部分的内容.

如果path中不包含路径分隔符,则第一个元素为空.

样例:

os.path.basename(path) :返回path指定的路径的最后一个内容. 如果只是一个盘符,或者是以路径分隔符结尾的字符串,则返回空; 否则返回的是路径中的最后一部分内容.

样例:

os.path.dirname(path) :返回一个路径中的父目录部分.

如果只是一个盘符,或者是以路径分隔符结尾的字符串,则整体返回. 否则返回的是路径中的父目录部分.

样例:

os.path.getsize(path) :获取文件的字节数.如果是文件夹,返回0或者是一个不准确的值.

样例:

os.path.join(path,*paths) :连接若干个路径为一个路径.

如果路径中有绝对路径,则在这个路径之前的路径都会被丢弃,而从这个路径开始往后拼接. Windows中盘符一定要带\,否则不认为是一个盘符.

样例:

判断功能

 

os.path.exists(path) :判断路径是否真正存在. os.path.isabs(path) :判断是否是绝对路径os.path.isfile(path) :判断是否是文件os.path.isdir(path) :判断是否是目录

sys:和解释器相关

提供了解释器使用和维护的变量和函数.

sys.argv :当以脚本方式执行程序时,从命令行获取参数.

argv[0]表示的是当前正在执行的脚本名.argv[1]表示第一个参数,以此类推.

样例:

有脚本test.py 内容如下:

使用命令行方式运行该脚本: python test.py hello world

sys.getrefcount(object) :返回一个对象的引用的次数.总比真实引用的次数多1.

样例:

sys.getrecursionlimit() :递归的最大次数

sys.setrecursionlimit(limit) :设置递归的最大次数.

样例:

sys.modules :返回系统已经加载的模块,以字典形式返回.

对这个字典中的值进行修改并没有什么具体意义.反而有时会引发异常. 常用来作为是否重新加载一个模块的判断依据.

sys.path :系统寻找模块的路径.可以通过PYTHONPATH来进行初始化.

由于是在程序执行的时候进行初始化的,所以,路径的第一项path[0]始终是调用解释器的脚本所在的路径.如果   是动态调用的脚本,或者是从标准输入读取到脚本命令,则path[0]是一个空字符串.程序中可以随时对这个路径  进行修改.以达到动态添加模块路径的目的.

json模块

JSON:JavaScript Object Notation ,JS对象标记.

原本是在JavaScript中对对象标记的一种方式,现在已经变成被大多数语言广泛应用的一种数据交换格式. JSON格式的数据本身就是一个字符串,JSON文件就是一个文本文件.

它把其他数据格式统统转换成字符串,进而可以保存在文件中或者是通过网络进行传输.另一方面,从JSON文件中读取  或者是网络接收端很容易将得到的字符串还原成原来的数据格式.

通过字符串这种非常通用的格式,完成了多种数据格式的交换.

序列化和反序列化

将不同数据类型转换成json字符串的过程称为序列化,反之称为反序列化. 并不是所有类型的数据都能被序列化成json字符串的.

以下是Python中的可以被序列化的数据类型:

从上表中可以看出,Python中的set , frozenset 等数据类型,就没有办法转换成json字符串. Python中提供的json模块就是专门用来操作JSON格式的文件的.

json模块中的方法

将其他数据类型序列化成json字符串将json字符串反序列化成其他数据类型

json字符串在进行反序列化时,也遵循一定的对应关系:

从上图可以看出,json中的array类型转换成的都是Python中的list.这也就意味着,元组经过json序列化和反序列  化之后,将会变成列表.

将其他数据类型序列化成json字符串并写入文件

从文件中读取json字符串并反序列化成其他数据类型

需要注意的是:

不要尝试多次将json字符串写入同一个文件.

或者手动修改已经写入json字符串的文件.都容易导致反序列化失败.

通常json文件用来保存一些配置信息,这样的配置信息不会太大.通过一次写,一次读,完全可以满足数据交换的需求.

pickle:序列化

pickle是Python中提供的另一种序列化的模块.

但是pickle和json有着多方面的不同:

json更加通用,pickle更有针对性.

pickle模块中的方法

pickle模块中的方法基本和json模块中的方法一样.只是适用的数据类型范围比json更广泛.

将其他数据类型序列化成字节将字节反序列化成其他数据类型

将其他数据类型序列化成字节并写入文件

从文件中读取字节并反序列化成其他数据类型

样例:

hashlib:加密模块

hashlib模块中提供的类采用的是单向加密算法,也称'哈希算法','摘要算法'.

这种算法的特点是:

相同的数据切分成若干个小的部分,对这些小部分分别加密和一次性对整个数据加密的结果是一致的. 原始数据的一点小不同,将会导致最终结果的非常大的差异.

从加密后的结果反推原始数据几乎是不可能的.

使用摘要算法加密一个数据的三大步骤: 获取一个加密算法对象.

调用加密对象的update方法给指定的数据加密.

调用加密对象的digest或者是hexdigest获取加密后的结果.

样例:

简化写法

加密对象的update方法可以调用多次,意味着在在前一次的update结果之上,再次进行加密.如果只是一次更新的话, 还可以直接把数据当成参数传递给构造方法.

例如:

和下面的语句是等价的:

这种在创建加密对象的时候,就指定初始化的数据,称为salt (盐).

目的就是为了让加密的结果更加复杂.

其他加密对象

加密对象除了md5之外,还有如下几种:

这些加密对象之间的区别就是加密算法结果的长度不同.加密结果的长度越长,算法越复杂,相应的,加密耗费的时间  也越长.

例如:

练习

把用户名和密码信息加密后,通过序列化的方式存储到本地文件中. 并通过控制台输入信息进行验证.

Collections:集合

此模块定义了一些内置容器类数据类型之外,可用的集合类数据类型. 往往针对的是特殊的应用场景.

namedtuple:元组的工厂函数

所谓的工厂函数指的是:接收类名和一些创建此类对象所需要的一些参数,返回指定类的一个对象.

命名元组的特点是给元素绑定了一个有意义的名字.在使用元素时可以使用元素的名字而不必使用索引. 函数的签名是:

此函数的返回值是一个tuple的子类定义.常用的是前两个参数.

第一个参数指定的是返回的子类的类名.

第二个参数指定的是子类元组可以拥有的元素名.以字符串组成的列表表示,或者是以空格,逗号分隔的单个字符串都  可以.

例如:

使用namedtuple 创建一个名为: Rectangle 的tuple 子类. 并用Rectangle 创建一个实例对象,使用其中的元素.

defaultdict:默认字典

defaultdict 是内置的dict 的子类. 回顾dict 的创建方式:

defaultdict 类的构造函数签名:

和dict 的构造函数相比,只是在前面添加了一个参数: default_factory ,其余的参数和dict 一样.

第一个参数指定的是一个函数名,用来表示当字典对象中出现了不存在的键时,对应的值初始值是如何计算. 正因为这个函数是获取值的,所以,对这个函数规定:不能有参数.

默认情况下,第一个参数是None,意味着不存在的键对应的值为None.

注意:

一旦使用defaultdict 时,指定了不存在的键,则会引发两件事情: 调用第一个参数指定的函数得到默认值.

把返回值赋值给这个新键.

如图所示:

例如:

从结果中可以看出, defaultdict 新增了不存在键和默认值组成的键值对. 自定义函数充当第一个参数:

Counter:生成统计信息

用于统计可哈希对象的数量.

是dict的子类.一种特殊的字典.

它的键是可哈希对象,值是这个对象的个数统计信息.个数可以是手动指定的,也可以是自动计算出来的,并且可以是  负数和0.

创建Counter对象.

查看计数器的统计结果,和使用字典的方式相同:

1 2	from collections import Counter c = Counter('abcab')
3	print(c)	#	Counter({'a': 2, 'b': 2, 'c':	1})
4	print(c['a'])	#	2
5	print(c['b'])	#	2
6	print(c['name'])	#	0

Counter常用方法:

most_common([n]) :显示数量最多的前几名.

例如: