python总结：模块汇总

定义：写好的代码集合，直接调用它的功能（py文件，c语言编译之后的文件，内置函数很多pass都是通过c编译的）
作用：内存空间是有限的，存放在硬盘里，当需要的时候加载到内存，把丰富的功能封装在一个文件中，等用的时候，直接导入内存就可以使用
分类：
- 内置模块：python内置的一些常用模块，如json、pickle、hashlib、loggin、time、sys、os等
- 扩展模块：第三方模块如itchat微信，beautifulsoup爬虫，django
- 自定义模块：自己写的py文件（分模块：功能独立防止代码过长）
序列化模块：json、pickle、shelve用于方便数据网络传输，文件的读写操作（文件中可以存储:字符串,和bytes.数据的传输:bytes类型.）
- 序列化：将原本是字典、列表等内容转换成双引号表示的序列化字符串的过程
- 反序列化：将序列化的字符串转换成原数据类型
- json：
  - 适用于不同编程语言之间的，支持除set之外所有的python数据类型（int,str,bool,None,list,tule,dict）转成str；
  - 优点：可以在各个语言中交互、可以直接通过网络传输，不用再转成bytes类型
  - 缺点：不能将多个序列化字符串，通过load回来，需要通过dumps将目标数据转成str，然后通过文件操作写入f.write(data)，最后通过loads回来
  - import json
  - dumps loads 用于网络的传输，如微信接口的交互
    - 注：
    - 1、元组序列化后变成列表，反转回来不会变成元组，而是列表！！！
    - 2、中文型，会转成u....bytes,如想看懂内容，加参数json.dumps(dic,ensure_ascii=False)
    - 3、json如果转dict，dict的key不能是元组，int型的key，反转回来变成字符串 '1'、dumps必须是字符串
    - 4、会序列化成双引号的字符串
    - 原数据类型转序列化字符串：ret = json.dumps(dic)
    - 序列化字符串转换成原数据类型：ret2 = json.loads(ret)
  - dump load 用于操作文件，对文件句柄的操作
    - json.dump(obj,fb) fb为文件句柄
    - json.load(fb)
  - # 用 dump load 只能写入和读取文件一个序列化的字符串，会报错，解决方法如下：
- pickle：
  - 只用于python语言之间的，支持python所有基础数据类型转换；
  - pickle序列化成bytes类型，json是除中文可以看懂的
  - 一样两对，4种方法
  - dic_seqStr = pickle.dumps(obj)
  - seqStr_dic = pickle.loads(str)
  - pickle.dump(obj,fb)
  - pickle.load(fb)
  - dump、load可写入多个序列化字符串，可反转load多个序列化，和json不同
- shelve:
  - 仅python语言使用，对文件的操作
  - 写：
  - f = shelve.open(file) # 直接对文件句柄操作，可以写入文件，file不能为数字命名
  - existsing = f['key']
  - f['key'] = {"name":111, "age": 30} 以字典的形式将目标数据序列化写入文件{“key”：{"name":111, "age": 30}}
  - f.close()
  - 读：
  - f = shelve.open(file)
  - print(f['key']) # key没有报错
  - f.close()
  - 可改：
  - f['key']=new_date
  - 新增，以字典的形式新增，那么原数据必须是以字典形式写入的
  - f = shelve.open(file,writeback=True) 只有true时才能新增，不然无法新增
  - f['key']['new_key'] = 'values'
文件加密模块：hashlib
- 主要两种摘要算法：md5、sha系列
  - 特点：单向计算，无法反推明文
  - 作用：密文验证，文件校验
  - sha系列用法同md5一样，只是加密更安全，代价是效率低些
  - 密文加密：
    - 算法1：md5
      - 特点：生成定长32位的16进制数字
      - pwd = '我的密码'
      - import hashlib # 导入模块
      - obj = hashlib.md5() # 创建对象，括号里可加参数，在密文得基础上再加一些指定得东西，如下
      - # obj = hashlib.md5(指定增加的东西可为固定的也可为变量.encode('utf-8'))
      - obj.update(pwd.encode('utf-8')) # 调用对象方法update，对密文加密，必须时bytes类型
      - obj.hexdigest() # 得到加密结果，定长32位
  - 文件校验
    - 算法1：md5
      - 特点：可以分段/块来读，不大量占用内存
      - # 1、小文件
      - def md5_small_file(file_name):
        
        with open(file_name, 'rb') as f: # 以字节的形式读，就不需要转了
        
        file = f.read()
        
        obj1 = hashlib.md5(file_name[::2].encode('utf-8'))
        
        obj1.update(file) # file 本身就是bytes了
        
        return obj1.hexdigest()
      - # 2、大文件（如果文件大，就不能一次性都出来，md5支持，一段一段比，最后得出加密的密文）def md5_big_file(file_name):
      - def md5_big_file(file_name):
        
        with open(file_name, 'rb') as f:
        
        obj = hashlib.md5(file_name[::2].encode('utf-8')) # 先创建对象
        
        while True:
        
        file_site = f.read(1024) # 循环每次1024个字节
        
        if file_site:
        
        obj.update(file_site)
        
        else:
        
        return obj.hexdigest()
日志记录模块：logging
- 作用：在逻辑容易出错位置手动添加日志功能，记录报错信息到文件，以便于排错
- 特点1：非自动记录，为人工指定位置，指定报错信息内容
- 特点2：默认将日志打印到标准输出中，级别为>=warning，可以调整
- 特点3：默认记录和输出格式为日志级别warning：日志器名root：信息内容
- 特点4：默认写入文件是追加模式，可以调整
- 缺点：默认情况下不能同时将日志信息输出和写入文件，只能二选一，可以调整
- 提供五种模式：
  - 1、logging.debug('message') # 自定义的排错信息
  - 2、logging.info('message') # 自定义的正常信息
  - 3、logging.warning('message') # 自定义的警告信息，程序可以运行，但要进行修改，不符合规范
  - 4、logging.error('message') # 自定义的错误信息
  - 5、logging.critical('message') # 自定义的严重错误信息
  - 注：logging.log(level,msg) # 自定义等级的日志信息
- low版：无法同时文件及控制台都显示
  - 可以调整记录日志级别、记录格式、是否覆盖写还是追加写
  - logging.basicConfig( level=logging.DEBUG, # 指定默认日志器的日志级别
    - filename='log.log' ， # 指定写入的文件名（一旦指定了文件，没有其他设置就无法标准输出了）
    - filemode = 'w' , # 指定文件打开方式，默认a
    - format = '%(asctime)s %(filename)s [line:%(lineno)d] %(levelname)s %(message)s' # 指定日志显示得格式
    - datefmt= '%a %d %b %Y %H:%M:%S', # 指定日期的时间格式，需与format的‘%(asctime)s’一起才有效
    - stream = sys.stdout） # 指定输出到屏幕的方式，sys.stdout,sys.stderr,网络stream，不能同filename一起
- high版：通过logger对象操作，无极限定制
  - 1、创建对象
    - obj = logging.getLoger(__name__)
  - 2、指定全局日志级别
    - logging.setLevel(logging.INFO)
  - 3、创建handler
    - fh = logging.FileHandler()或sh =loggin.StreamHandler()
  - 4、指定handler的日志级别（必须高于logger级别）
    - fh.setLevel()
  - 5、创建handler的日志格式（可创建多个不同的格式）
    - custom_format = logging.Formatter()
  - 6、指定handler的日志格式
    - handlerX.setFormatter（custom_format）
  - 7、日志器logger调用handler处理器
    - obj.addHandler(handler)
  - 8、配置各个日志级别的日志记录message
    - longging.debug(msg)