python

把数据序列化可以更加方便的在程序之间传输

在python中，常用json和pickle两个模块来对数据序列化：

json模块：

　　json，用于字符串 和 python数据类型间进行转换

　　Json 模块提供了四个功能：dumps、dump、loads、load

　　json.dump() 将数据通过特殊的形式转换为所有程序语言都认识的字符串，并写入文件
　　json.dumps() 将数据通过特殊的形式转换为所有程序语言都认识的字符串

　　json.dump和json.dumps很不同，json.dump主要用来json文件读写，和json.load函数配合使用。

　　json.loads() 加载json文件的内容，并转换为python数据类型

''' json.dumps 和 json.loads 应用'''
>>> import json
>>> user_info= {
    'name':'root',
    'age':22,
    'job':'python'
    }
>>> with open('data_json.txt','w') as f:
    f.write(json.dumps(user_info))          #先序列化，再写入文件
    
44   # 这是序列化后单个字符的数量(字典在打印时，每个键值对的值前面会有个空格)
>>> len(user_info)
3
>>> with open('data_json.txt','r') as fr:
    json.loads(fr.read())       #先从文件读出来，再反序列化
   
{'name': 'root', 'age': 22, 'job': 'python'}
>>> 

>>>      '''json.dump 和 json.load使用'''
>>> import json
>>> user_info = {'name': 'root', 'age': 22, 'job': 'python'}
>>> 
>>> with open('data_json1.txt','w') as fw:
    json.dump(user_info,fw)         
                               #json.dump(要被序列化对象，文件句柄)
    
>>> with open('data_json1.txt','r') as fr:
    json.load(fr) 
                      #json.load(文件句柄)
    
{'name': 'root', 'age': 22, 'job': 'python'}
>>> 

pickle模块：

　　pickle，用于python特有的类型 和 python的数据类型间进行转换

　　pickle模块提供了四个功能：dumps、dump、loads、load

　　pickle.dumps() 将数据通过特殊的形式转换成只有python语言认识的字符串，不需要写入文件
　　pickle.dump() 将数据通过特殊的形式转换成只有python语言认识的字符串，并写入文件

　　pickle.dump(obj, fw, [,protocol])
　　　　注解：将对象obj保存到文件fw ('w'方式打开的文件句柄)中去。
　　pickle.dumps(obj)：以字节对象形式返回封装的对象，不需要写入文件中

　　pickle.load(fr)
　　　　注解：从file中读取一个字符串，并将它重构为原来的python对象。
　　　　fr : 'r'方式打开的文件句柄，有read()和readline()接口。

　　pickle.loads(bytes_object): 从字节对象中读取被封装的对象，并返回

>>>     ''' pickle.dumps 和 pickle.loads 使用'''
>>> import pickle
>>> user_info = {'name': 'root', 'age': 22, 'job': 'python'}
>>> 
>>> with open('data_pickle.txt','wb') as fw:      #用pickle对数据序列化时，要用二进制打开进行读、写
    fw.write(pickle.dumps(user_info))
  
65
>>> with open('data_pickle.txt','rb') as fr:
    pickle.loads(fr.read())

    
{'name': 'root', 'age': 22, 'job': 'python'}
>>> 

>>>        '''pickle.dump 和 pickle.load使用'''
>>> import pickle
>>> user_info = {'name': 'root', 'age': 22, 'job': 'python'}
>>> 
>>> with open('data_pickle1.txt','wb') as fw:
    pickle.dump(user_info,fw)

>>> with open('data_pickle1.txt','rb') as fr:
    pickle.load(fr)
    
{'name': 'root', 'age': 22, 'job': 'python'}
>>> 

json和pickle两个模块的方法一样，只是在用pickle序列化时，打开文件的方式必须是二进制('wb','rb')

以上利用json或pickle都是序列化一条数据，若要同时序列化多条数据，则pickle和json都很麻烦了（两种方式操作过程一样）

>>>                      '''用 pickle 序列化多条数据'''
>>> import pickle
>>> 
>>> user_info = {'name': 'root', 'age': 22, 'job': 'python'}
>>> user_list = ['root','admin','xsec']
>>> job_list = ['python','php','js']
>>>
>>> with open('more_data_pickle.txt','wb') as fw:
    fw.write(pickle.dumps(user_info))
    fw.write(pickle.dumps(user_list))
    fw.write(pickle.dumps(job_list))
    
65
42
40
>>> with open('more_data_pickle.txt','rb') as fr:
    pickle.loads(fr.read())
    pickle.loads(fr.read())
    pickle.loads(fr.read())               #用dumps可以序列化多条数据,但是用loads反序列化时，报错了

{'name': 'root', 'age': 22, 'job': 'python'}
Traceback (most recent call last):
  File "<pyshell#83>", line 3, in <module>
    pickle.loads(fr.read())
EOFError: Ran out of input

>>> fr = open('more_data_pickle.txt','rb')
>>> pickle.loads(fr.read())
{'name': 'root', 'age': 22, 'job': 'python'}
>>> pickle.loads(fr.read())
Traceback (most recent call last):
  File "<pyshell#86>", line 1, in <module>
    pickle.loads(fr.read())
EOFError: Ran out of input
 
>>> with open('more_data_pickle.txt','wb') as fw:          #用dump和load成功序列化和反序列化多条数据
    pickle.dump(user_info,fw)
    pickle.dump(user_list,fw)
    pickle.dump(job_list,fw)

>>> with open('more_data_pickle.txt','rb') as fr:
    pickle.load(fr)
    pickle.load(fr)
    pickle.load(fr)        #在生产时这样load不知道到底要load多少次才能取到想要的数据
    
{'name': 'root', 'age': 22, 'job': 'python'}        #按照dump的先后顺序，依次load （入单向队列，先进先出）
['root', 'admin', 'xsec']
['python', 'php', 'js']
>>> 

由上面可知，在序列化时问题还不大，可是当我们在读取数据时，感觉就是毫无条理，不知道合适才能取到我们想要的数据。由此，我们有必要学习下面这个模块

shelve 模块　

　　shelve模块是一个简单的通过key,value形式将内存数据通过文件持久化的模块，可以持久化任何pickle可以支持的python数据格式

　　（ shelve 的实质：对pickle再一次封装）

　　shelve较于pickle优点：
　　　　在dump多条数据时，pickle需要dump多次，其在取时，也要对应load多次（先进先出）
　　　　而shelve在持久化多条数据之后，只需要根据不同的key就可以调用不同的数据

>>> 
>>> import shelve
>>> user_info = {'name': 'root', 'age': 22, 'job': 'python'}
>>> user_list = ['root', 'admin', 'xsec']
>>> job_list = ['python', 'php', 'js']
>>>                                      #用shelve序列化数据
>>> so = shelve.open('more_data_shelve.txt')     #打开一个用来存储序列化后的数据的文件(不需要打开方式)
>>> so['u_i'] = user_info
>>> so['u_l'] = user_list         #其中的键名（'u_i'...）是自定义的，存数据不要求顺序，后面取数据也不要求顺序
>>> so['j_l'] = job_list
>>> so.close()           #存完了记得关闭文件
>>> 
                                            #反序列化数据
>>> so1 = shelve.open('more_data_shelve.txt')         #打开之前存储序列化后的数据的文件，同样不要打开方式
>>> so1['u_l']
['root', 'admin', 'xsec']
>>> so1['j_l']                 #可以通过键名，只取想要的数据，不需要全部反序列化
['python', 'php', 'js']
>>> so1['u_i']
{'name': 'root', 'age': 22, 'job': 'python'}
>>> so1.close()        #关闭文件
>>>