python模块

python内置系统模块

一、random模块

import random

#获取[0.0,1.0]范围内的随机浮点数
a = random.random()
print(a)

#获取[a,b]范围随机整数
b = random.randint(3,9)
print(b)

#获取[a,b)范围随机浮点数
c = random.uniform(3,9)
print(c)

#打印随机0-9的列表
lst = list(range(10))
#shuffle把指定的数据中的元素打乱，参数必须是一个可变的数据类型
random.shuffle(lst)
print(lst)

#变相打乱不可变的元组
t = (1,2,3,4)
lst = random.sample(t,len(t))
print(lst)

二、time、datatime

2.1、time

• 时间相关
• 封装了时间戳和字符串形式的时间

import time

#获取时间戳
#时间戳：从时间元年（1970-1-1 00:00:00）到现在经过的秒数
print(time.time())
print()

#获取格式化时间对象
print(time.gmtime())    #GMT时间，欧洲时区

print(time.localtime()) #本机时间，中国时间


#格式化时间对象和字符串之间的转换

s = time.strftime("year:%Y %m %d %H:%M:%S")
s1 = time.strftime("%H:%M:%S")
print(s)
print(s1)

#把时间字符串转换成时间对象
s2 = time.strptime('2020 9 10','%Y %m %d')
print(s2)

#获取当前时间对应的时间戳 类似time.time()
print(time.mktime(time.localtime()))
print(time.time())

#暂停当前程序
time.sleep(2)

2.2、datatime

• 日期时间模块
• 封装了一些日期、时间的类
• 能时间进位运算

import datetime

#date 类
d = datetime.date(2020,10,10)
print(d)  #输出2020-10-10
print(d.year)
print(d.month)
print(d.day)

#time类
t = datetime.time(23,48,50)
print(t)
print(t.hour)
print(t.minute)
print(t.second)

#datetime类,主要用于时间运算
dt = datetime.datetime(2020,9,10,2,11,11)
print(dt)


#参与数学运算
#timedelta:时间的变化量
'''
1、创建时间对象
2、时间相加
'''
td = datetime.timedelta(days=1)
print(td)
dd = datetime.date(2020,10,10)

res = dd + d
print(res)

计算某年的2月，有几天，然后判断平闰年！

year = int(input('请输入年份'))
d = datetime.date(year,3,1)
#创建一天的时间段
td = datetime.timedelta(days=1)
res = (d -td).day
#print(res)
if res == 29:
    print('闰年')
else:
    print('平年')

三、os、sys、shutil

3.1、os

• os模块是与操作系统交互的一个接口,它提供的功能多与工作目录，路径，文件等相关
• 目录指的是:文件夹 当前目录，工作目录，父级目录：指的都是一个，就是本文件所在的文件夹。
• 按照星的等级划分,三颗星是需要记住的。

#当前执行这个python文件的工作目录相关的工作路径
os.getcwd() 获取当前工作目录，即当前python脚本工作的目录路径  ** 
os.chdir("dirname")  改变当前脚本工作目录；相当于shell下cd  **
os.curdir  返回当前目录: ('.')  **
os.pardir  获取当前目录的父目录字符串名：('..') **

# 和文件夹相关 
os.makedirs('dirname1/dirname2')    可生成多层递归目录  ***
os.removedirs('dirname1') 若目录为空，则删除，并递归到上一级目录，如若也为空，则删除，依此类推 ***
os.mkdir('dirname')    生成单级目录；相当于shell中mkdir dirname ***
os.rmdir('dirname')    删除单级空目录，若目录不为空则无法删除，报错；相当于shell中rmdir dirname ***
# os.listdir('dirname')    列出指定目录下的所有文件和子目录，包括隐藏文件，并以列表方式打印 **

# 和文件相关
os.remove()  删除一个文件  ***
os.rename("oldname","newname")  重命名文件/目录  ***
os.stat('path/filename')  获取文件/目录信息 **

# 和操作系统差异相关
# os.sep    输出操作系统特定的路径分隔符，win下为"\",Linux下为"/" *
# os.linesep    输出当前平台使用的行终止符，win下为"	
",Linux下为"
" *
# os.pathsep    输出用于分割文件路径的字符串 win下为;,Linux下为: *
# os.name    输出字符串指示当前使用平台。win->'nt'; Linux->'posix' *
# 和执行系统命令相关
# os.system("bash command")  运行shell命令，直接显示  **
# os.popen("bash command).read()  运行shell命令，获取执行结果  **
os.environ  获取系统环境变量  **

#path系列，和路径相关
os.path.abspath(path) 返回path规范化的绝对路径  ***
os.path.split(path)   将path分割成目录和文件名二元组返回 ***
os.path.dirname(path) 返回path的目录。其实就是os.path.split(path)的第一个元素  **
os.path.basename(path) 返回path最后的文件名。如何path以／或结尾，那么就会返回空值，即os.path.split(path)的第二个元素。 **
os.path.exists(path)  如果path存在，返回True；如果path不存在，返回False  ***
os.path.isabs(path)   如果path是绝对路径，返回True  **
os.path.isfile(path)  如果path是一个存在的文件，返回True。否则返回False  ***
os.path.isdir(path)   如果path是一个存在的目录，则返回True。否则返回False  ***
os.path.join(path1[, path2[, ...]])  将多个路径组合后返回，第一个绝对路径之前的参数将被忽略 ***
os.path.getatime(path)  返回path所指向的文件或者目录的最后访问时间  **
os.path.getmtime(path)  返回path所指向的文件或者目录的最后修改时间  **
os.path.getsize(path)   返回path的大小 ***

3.2、shutil

• os模块提供了对目录或者文件的新建/删除/查看文件属性，还提供了对文件以及目录的路径操作。
  比如说：绝对路径，父目录…… 但是，os文件的操作还应该包含移动 复制 打包 压缩 解压等操作，这些os模块都没有提供。
• shutil则就是对os中文件操作的补充。--移动 复制 打包 压缩 解压。

创建压缩解压

make_archive(base_name, format, root_dir=None, base_dir=None, verbose=0,dry_run=0, owner=None, group=None, logger=None)

参数注解：

* base_name： 压缩包的文件名，也可以是压缩包的路径。只是文件名时，则保存至当前目录，否则保存至指定路径，
  * 如 data_bak =>保存至当前路径
  * 如：/tmp/data_bak =>保存至/tmp/
* format：	压缩包种类，“zip”, “tar”, “bztar”，“gztar”
* root_dir：要压缩的文件夹路径（默认当前目录）
* base_dir：要进行压缩的源文件或目录
* owner：	用户，默认当前用户
* group：	组，默认当前组
* logger：	用于记录日志，通常是logging.Logger对象

演示：

#将 /data 下的文件打包放置当前程序目录
>>> import shutil
>>> ret = shutil.make_archive("data_bak", 'gztar', root_dir='/data')
  
#将 /data下的文件打包放置 /tmp/目录
>>> import shutil
>>> ret = shutil.make_archive("/tmp/data_bak", 'gztar', root_dir='/data')

注意： shutil 对压缩包的处理是调用 ZipFile 和 TarFile 两个模块来进行的!

zipfile压缩解压缩

import zipfile
# 压缩
z = zipfile.ZipFile('laxi.zip', 'w')
z.write('a.log')
z.write('data.data')
z.close()
# 解压
z = zipfile.ZipFile('laxi.zip', 'r')
z.extractall(path='.')
z.close()

tarfile压缩解压

import tarfile
# 压缩
>>> t=tarfile.open('/tmp/egon.tar','w')
>>> t.add('/test1/a.py',arcname='a.bak')
>>> t.add('/test1/b.py',arcname='b.bak')
>>> t.close()
# 解压
>>> t=tarfile.open('/tmp/egon.tar','r')
>>> t.extractall('/egon')
>>> t.close()

3.3、sys模块

• sys模块是与python解释器交互的一个接口，这个模块功能不是很多，练习一遍就行。

sys.argv           命令行参数List，第一个元素是程序本身路径
sys.exit(n)        退出程序，正常退出时exit(0),错误退出sys.exit(1)
sys.version        获取Python解释程序的版本信息
sys.path           返回模块的搜索路径，初始化时使用PYTHONPATH环境变量的值  ***
sys.platform       返回操作系统平台名称

四、pickle

• pickle模块是将Python所有的数据结构以及对象等转化成bytes类型，然后还可以反序列化还原回去。
• 特点
  • 只能是Python语言遵循的一种数据转化格式，只能在python语言中使用。
  • 支持Python所有的数据类型包括实例化对象。
• 用法（跟json模块差不多）
  • 用于网络传输：dumps、loads
  • 用于文件写读：dump、load

4.1、dumps、loads

import pickle
dic = {'k1':'v1','k2':'v2','k3':'v3'}
str_dic = pickle.dumps(dic)
print(str_dic)  # bytes类型

dic2 = pickle.loads(str_dic)
print(dic2)    #字典

4.2、dump、load

dic = {(1,2):'oldboy',1:True,'set':{1,2,3}}
f = open('pick序列化',mode='wb')
pickle.dump(dic,f)
f.close()
with open('pick序列化',mode='wb') as f1:
    pickle.dump(dic,f1)

4.3、pickle序列化存储多个数据到一个文件中

dic1 = {'name':'oldboy1'}
dic2 = {'name':'oldboy2'}
dic3 = {'name':'oldboy3'}

f = open('pick多数据',mode='wb')
pickle.dump(dic1,f)
pickle.dump(dic2,f)
pickle.dump(dic3,f)
f.close()

f = open('pick多数据',mode='rb')
while True:
    try:
        print(pickle.load(f))
    except EOFError:
        break
f.close()

五、json

• json模块是将满足条件的数据结构转化成特殊的字符串，并且也可以反序列化还原回去。
• 不同语言都遵循的一种数据转化格式，即不同语言都使用的特殊字符串。
• 一种简单的数据交换格式
• json序列化只支持部分Python数据结构：dict,list, tuple,str,int, float,True,False,None

序列化：

• 将内存中的数据，转换成字节串。用于保存在文件或者网络传输的过程！

反序列化：

• 从文件中或者网络中获取数据，转换成内存中原来的数据类型的过程！！

用于网络传输：dumps（序列化）、loads（反序列化）

import json
dic = {'k1':'v1','k2':'v2','k3':'v3'}
str_dic = json.dumps(dic)     #序列化：将一个字典转换成一个字符串
print(type(str_dic),str_dic)  #<class 'str'> {"k3": "v3", "k1": "v1", "k2": "v2"}
#注意，json转换完的字符串类型的字典中的字符串是由""表示的

dic2 = json.loads(str_dic)  #反序列化：将一个字符串格式的字典转换成一个字典
#注意，要用json的loads功能处理的字符串类型的字典中的字符串必须由"双引号"表示
print(type(dic2),dic2)  #<class 'dict'> {'k1': 'v1', 'k2': 'v2', 'k3': 'v3'}

list_dic = [1,['a','b','c'],3,{'k1':'v1','k2':'v2'}]
str_dic = json.dumps(list_dic) #也可以处理嵌套的数据类型 
print(type(str_dic),str_dic)   #<class 'str'> [1, ["a", "b", "c"], 3, {"k1": "v1", "k2": "v2"}]
list_dic2 = json.loads(str_dic)
print(type(list_dic2),list_dic2) #<class 'list'> [1, ['a', 'b', 'c'], 3, {'k1': 'v1', 'k2': 'v2'}]

用于文件写读：dump、load

import json
f = open('json_file.json','w')
dic = {'k1':'v1','k2':'v2','k3':'v3'}
json.dump(dic,f)  #dump方法接收一个文件句柄，直接将字典转换成json字符串写入文件
f.close()
# json文件也是文件，就是专门存储json字符串的文件。
f = open('json_file.json')
dic2 = json.load(f)  #load方法接收一个文件句柄，直接将文件中的json字符串转换成数据结构返回
f.close()
print(type(dic2),dic2)

json序列化存储多个数据到同一个文件中

• 对于json序列化，存储多个数据到一个文件中是有问题的，默认一个json文件只能存储一个json数据，但是也可以解决：

dic1 = {'name':'oldboy1'}
dic2 = {'name':'oldboy2'}
dic3 = {'name':'oldboy3'}
f = open('序列化',encoding='utf-8',mode='a')
str1 = json.dumps(dic1)
f.write(str1+'
')
str2 = json.dumps(dic2)
f.write(str2+'
')
str3 = json.dumps(dic3)
f.write(str3+'
')
f.close()
'''
文件：序列化的内容
也就是由：字典--->json
或者：'单引号'----->"双引号"
{"name": "oldboy1"}
{"name": "oldboy2"}
{"name": "oldboy3"}
'''
f = open('序列化',encoding='utf-8')
for line in f:
    print(json.loads(line))
    
'''
输出刚刚定义的字典
也就是：json---->字典
或者："双引号"----->'单引号'
{'name': 'oldboy1'}
{'name': 'oldboy2'}
{'name': 'oldboy3'}
'''

六、hashlib

• 此模块有人称为摘要算法，也叫做加密算法，或者是哈希算法，散列算法等。
• 工作原理：通过一个函数，把任意长度的数据按照一定规则转换为一个固定长度的数据串（通常用16进制的字符串表示）
• hashlib的特征以及使用要点：
  1. bytes类型数据 ---> 通过hashlib算法 ---> 固定长度的字符串
  2. 不同的bytes类型数据转化成的结果一定不同。
  3. 相同的bytes类型数据转化成的结果一定相同。
  4. 此转化过程不可逆。
• 用途
  • 密码的加密
  • 文件一致性校验

6.1、密码的加密

#MD5加密
#获取一个加密对象
md5 = hashlib.md5()
#使用对象的update方法进行加密
md5.update('tzh666'.encode('utf-8'))
#通过hexdigest获取加密的结果
print(md5.hexdigest())

6.2、加盐加密

• 固定的盐

#加盐的加密,每个密码都加上tzh啊，在获取加密对象的时候加上
md5 = hashlib.md5('tzh啊'.encode('utf-8'))
#使用update方法进行加密
md5.update('666'.encode('utf-8'))
print(md5.hexdigest())

• 动态的盐

username = 'tzh123456'
print(username[::2])
ret = hashlib.md5(username[::2].encode('utf-8'))  # 针对于每个账户，每个账户的盐都不一样
ret.update('qaz'.encode('utf-8'))
print(ret.hexdigest())

6.3、用于文件的一致性校验

• hashlib模块除了可以用于密码加密之外，还有一个常用的功能，那就是文件的一致性校验。

#矮小下版本
def func(file):
    with open('xxx',mode='rb') as f1:
        ret = hashlib.md5()
        ret.update(f1.read())
        return ret.hexdigest()

print(func('hashlib_file1'))

#高大上版本
def file_check(file_path):
    with open(file_path,mode='rb') as f1:
        sha256 = hashlib.sha256()
        while 1:
            content = f1.read(1024)
            if content:
                sha256.update(content)
            else:
                return sha256.hexdigest()
print(file_check('xxx'))

七、collections

在内置数据类型（dict、list、set、tuple）的基础上，collections模块还提供了几个额外的数据类型：Counter、deque、defaultdict、namedtuple和OrderedDict等。

1.namedtuple: 生成可以使用名字来访问元素内容的tuple

2.deque: 双端队列，可以快速的从另外一侧追加和推出对象

3.Counter: 计数器，主要用来计数

4.OrderedDict: 有序字典

5.defaultdict: 带有默认值的字典