pandas对象修改试图模式和副本模式
视图模式：多个变量指向同一个内存
- 修改一个变量另外一个变量也会改变
- 操作如：将一个对象整体赋值给另外一个变量
副本模式
- 修改一个变量，另外一个变量不会变
- 操作如：将一个对象查询的一部分赋值给另外一个变量
当一个对象整体赋值给另一个变量时，视图模式，2个变量对应的内存地址相同，修改一个变量，另外一个变量也会改变
当使用copy将一个变量赋值给另外一个变量
- 或者使用查询赋值，查询数据的一部分并赋值给其他 变量
- 当赋值为原数查询一部分时，是副本模式，修改一个变量不会影响另外一个变量
a_values = [
[ "张秀英", 0, 82,171, 66,"阜新市",73],
["毛桂英", 1, 18, 173, 56,"金华市",70],
[ "邵涛", 1,15, 163, 58, "滨州市",88],
["傅丽",1, 68,185,50,"秦皇岛市",81],
["宋秀兰",0,86,182, 79,"乌海市",68]
]
a = pd.DataFrame(a_values,index=[1,2,3,4,5],columns=['name','sex','age','heigh','weight','address','grade'])
#视图模式 修改单元格内的值,a赋值给b时候，a,b同时指向一个地址，节省内存
b = a
b.loc[1, 'name'] = 'bobby' # id(a) == id(b)
# 副本模式，方法分为2种
#使用copy赋值；最好使用copy副本模式赋值
c = a.copy()
c.loc[1,'name'] = 'caruso'
#查询数据的一部分赋值
d = a[['name','sex','address']] # d = a[['name','sex','address']].copy() 优先使用这种方式
d.loc[1, 'name'] = 'drose'
链式调用：尽量避免链式调用方式修改，容易出错
整体调用一次执行
a.loc[0,'name']
链式调用分开执行，影响效率；更改数据时候，轻度报警高，重度就是不成功
a['name'][0]
a.loc[0]['name']
pandas数据存储，数据的输入输出是基本操作
pandas可以存取多种介质类型数据
文本类数据
- csv
- json
二进制数据 （电脑上所有的数据都是2进制数据，高级显示利用编码显示）
- excel
- pkl
- hdf5
数据库
- sql
web api数据
- html
其他
- 内存
文本类数据文件读入pandas是会自动推断每列数据类型并转化
二进制类数据文件会在格式种存储数据类型
对pandas不能支持活不方便使用的数据格式，可以使用支持软件将其转化为csv或xlsx个时候使用pandas读写，如spss文件
csv comma-separated values逗号分隔以纯文本存储表数据的一种格式
二维表格数据结构,精简省空间，用于数据分析
json是多维数据格式，浪费空间，用于传输数据api
- name,age,address,grade
- liu,19,beijing,60
- liu,19,'beijing,chaoyang',60
写入csv
- 默认utf-8模式
- 保存其他格式可以自行设置参数encoding
- 注意：execl打开utf-8的csv文件，中文会乱码，建议保存gbk
读取csv
- 注意文本文件编码格式
- utf-8默认支持
- 其他编码，需要手动设置参数encoding
- 注意utf-8格式的csv文件，excel读取时中文会乱码
pd.read_csv('test.csv',
encoding='gb2312',
sep=',', #指定分隔符，csv默认是逗号，如果是table表格数据一般为
#列索引
# header=0, #默认将第一行设置为表头，其他行也可以
# header=None, # 不将第一行设为索引，列索引
# header=[0,1,2], #层次化索引
# names=['姓名','性别','年龄','身高','体重','地址','成绩'], #配合header=0,自定义索引
#行索引
# index_col=None, #行索引，默认值none，不使用数据列，而是使用系统自带索引
# index_col=0, #把第0行作为列索引
# index_col='name', #name作为列索引
# index_col=[0,1,2], #默认索引，多列层次化索引
# index_col=['name','age'], #自定义索引多列
#读取行列
# usecols=[0,2,4], # 读取指定列，默认索引
# usecols=['name','address'], #读取指定列，自定义索引
# nrows=3, #读取前几行
# skiprows=3, #从表格开始算起忽略的行
# skiprows=[2,4], #跳过2，4行
# skipfooter=2, #从表格末尾忽略的行，必须配合engine=‘python’否则会报警
# engine='python', #引擎c更快，python更完善
# 替换空间
# na_values=["乌海市"], # 将csv种某些字符替换成空值nan
# keep_default_na=True, # 默认True，同时使用系统自带的空值替换和自定义空值，如na，n/a False只使用自定义空值
# encoding='utf-8', #默认utf-8, 引擎是python时候需要手动设置
)
a_values = [
[ "张秀英", 0, 82,171, 66,"阜新市",73],
["毛桂英", 1, 18, 173, 56,"金华市",70],
[ "邵涛", 1,15, 163, 58, "滨州市",88],
["傅丽",1, 68,185,50,"秦皇岛市",81],
["宋秀兰",0,86,182, 79,"乌海市",68]
]
a = pd.DataFrame(a_values,index=[1,2,3,4,5],columns=['name','sex','age','heigh','weight','address','grade'])
# 写入
a.to_csv('test1.csv',encoding='gbk')
a.to_csv('test2.csv',encoding='gbk',index=False) # 不保存行索引 header=False 不保存列索引不推荐
a.to_csv('test1.csv',encoding='gbk',columns=['name','age','grade']) # 保存指定的列
parse_dates =[‘index_name’] # 指定某列位时间序列格式
层次化索引查询
df = pd.read_csv('test.csv',header=[0,1,2],encoding='gbk')
df['name']['张秀英']['毛桂英'][0]
df = pd.read_csv('test.csv',index_col=[0,1,2],encoding='gbk')
df.loc[['张秀英']].loc['张秀英'].loc[0].loc[82]['address']
合并时间列及自定义某列为行索引，多用于时间序列，金融数据分析
参数 parse_dates
- 尝试将数据解析为日期
- 可以使用列表指定需要解析的一组列名，如果列表元素为字典包含的列表或者元组，会将多个列组合到一起在解析日期解析（日期和时间在2个列情况）
参数 keep_date_col
- 如果连接多列解析日期，保存参与连接的列，默认False
数据
data,time,time2,name,age
20100101, 000000, 00:00:00, '张三', 18
20100101, 230000, 23:00:00, '李三', 28
# 时间序列
t = pd.read_csv('test3.csv',parse_dates=['date','time','time2'])
t = pd.read_csv('test3.csv',parse_dates={'s':['date','time2']},keep_date_col=True)
t = pd.read_csv('test3.csv',parse_dates={'s':['date','time2']},keep_date_col=True,index_col='s')
pandas读取excel .xsls
df = pd.DataFrame(np.random.randn(1000,4),columns=['a','b','c','d'])
df.to_excel('test.xlsx') # 默认存储到sheet1
df.to_excel('test.xlsx',sheet_name='abc') # 存储到abc
# 将多个变量写入同一个excel表格中
# 创建表格
writer = pd.ExcelWriter('output.xlsx')
# 插入一个表格
a.to_excel(writer,'abc')
df.to_excel(writer,'sheet1',index=None,header=None)
# 写入
writer.save()
# 读取
pd.read_excel('output.xlsx','sheet1').head() #读取指定的单元表
pd.read_excel('output.xlsx',None) #读取所有的单元表，返回字典
json : javascript object notation 是通过http请求在web浏览器和其他应用程序之间发送数据的标准格式之一
json和csv比较
json是多维数据，csv是2维数据
json数据比较冗余，体积大，csv精简，体积小
json多用于web数据交互，csv多用于数据领域不同环境切换的数据交互
如果json数据格式超过2维，转为dataFrame后，只能将0/1转为表格，其他维度会议python字典格式存入单元格
a.to_json('test.json')
pd.read_json('test.json')
使用hdf5格式
科学领域大数据存储的同行标准，如天文地理
frame = pd.DataFrame({'a':np.random.randn(100)})
# 存储,默认fixed， format='table'文件大了很多
frame.to_hdf('test.hdf5','obj1')
# 读取
x = pd.read_hdf('test.hdf5') #文件只存储一个变量，如果有多个变量读取出错
x = pd.read_hdf('test.hdf5','obj1') #指定变量命输出
frame.to_hdf('test1.hdf5','obj1',format='table')
pd.read_hdf('test1.hdf5','obj1',where=['index<5 and index>1'])
# 创建或读取hdf5文件没有就创建，有就读取
store = pd.HDFStore('test3.h5')
store['obj1'] = frame
# put是直接赋值显示版本，可以自定义格式化格式
store.put('obj2',frame,format='table')
xml&html 网页收集
table = pd.read_html('http://www.stats.gov.cn/tjsj/zxfb/201806/t20180630_1607071.html') #某些网络下无法抓取
# 复制后直接从内存读取
# https://cn.investing.com/currencies/usd-cny-historical-data
pd.read_clipboard(engine='python',header=None) # header去掉表头