import pandas as pd from pandas import Series from pandas import DataFrame import numpy as np
一 创建多层DataFrame
- 取得列:df['col'] df[[c1,c2]] df.loc[:,col]
- 取行:df.loc['index'] df[index1:inde2]
1.1 隐式构造
最常见的方法是给DataFrame构造函数的index或者columns参数传递两个或更多的数组
DataFrame(data=np.random.randint(0,100,size=(2,2)),columns=[['a','b'],['A','B']])
1.2 显示构造pd.MultiIndex.from_product
col=pd.MultiIndex.from_product([['qizhong','qimo'], ['chinese','math']]) #创建DF对象 df = DataFrame(data=np.random.randint(60,120,size=(2,4)),index=['tom','jay'], columns=col)
二 多层行索引
逐级降层
df['qimo']
df['qimo']['math']
# 获取tom期中所有科目的考试成绩 df['qizhong'].loc['tom']
注意
在对行索引的时候，若一级行索引还有多个，对二级行索引会遇到问题！也就是说，无法直接对二级索引进行索引，必须让
二级索引变成一级索引后才能对其进行索引！
总结：
访问一列或多列 直接用中括号[columnname] [[columname1,columnname2...]]
访问一行或多行 .loc[indexname]
访问某一个元素 .loc[indexname,columnname] 获取李四期中的php成绩
行切片 .[index1:index2] 获取张三李四的期中成绩
列切片 .loc[:,column1:column2] 获取张三李四期中的php和c++成绩
三 聚合操作
所谓的聚合操作：平均数，方差，最大值，最小值……
df.sum(axis=0)
df.mean()
四 使用pd.concat()级联
pandas使用pd.concat函数，与np.concatenate函数类似，只是多了一些参数：
objs
axis=0
keys
join='outer' / 'inner':表示的是级联的方式，outer会将所有的项进行级联（忽略匹配和不匹配），
而inner只会将匹配的项级联到一起，不匹配的不级联
ignore_index=False
4.1 匹配级联
匹配的索引能完全对上,不多也不少.
df1 = DataFrame(data=np.random.randint(0,100,size=(3,3)),index=['a','b','c']) df2 = DataFrame(data=np.random.randint(0,100,size=(3,3)),index=['a','b','d']) pd.concat([df1,df1],axis=0)
4.2 不匹配级联
不匹配指的是级联的维度的索引不一致。例如纵向级联时列索引不一致，横向级联时行索引不一致
有2种连接方式：
- 外连接：补NaN（默认模式）outer
- 内连接：只连接匹配的项 inner
pd.concat([df1,df2],axis=1,join='inner') #内连接
4.3 使用df.append()函数添加
由于在后面级联的使用非常普遍，因此有一个函数append专门用于在后面添加
df1.append(df2) #列索引必须一致
五 使用pd.merge()合并
merge与concat的区别在于，merge需要依据某一共同的列来进行合并
使用pd.merge()合并时，会自动根据两者相同column名称的那一列，作为key来进行合并。
注意每一列元素的顺序不要求一致
参数：
- how：out取并集 inner取交集
- on：当有多列相同的时候，可以使用on来指定使用那一列进行合并，on的值为一个列表
5.1 一对一合并
df1 = DataFrame({'employee':['Bob','Jake','Lisa'],
'group':['Accounting','Engineering','Engineering'],
})
df2 = DataFrame({'employee':['Lisa','Bob','Jake'],
'hire_date':[2004,2008,2012],
})
pd.merge(df1,df2) #自动找相同的,列进行合并
left:
right: 
merge后: 
5.2 多对一合并
df3 = DataFrame({ 'employee':['Lisa','Jake'], 'group':['Accounting','Engineering'], 'hire_date':[2004,2016]}) df4 = DataFrame({'group':['Accounting','Engineering','Engineering'], 'supervisor':['Carly','Guido','Steve'] }) pd.merge(df3,df4,how='outer')
left:
right:
merge:
5.3 多对多合并
df1 = DataFrame({'employee':['Bob','Jake','Lisa'],
'group':['Accounting','Engineering','Engineering']})
df5 = DataFrame({'group':['Engineering','Engineering','HR'],
'supervisor':['Carly','Guido','Steve']
})
pd.merge(df1,df5,how='left')
left:
right:
merge:
5.4 key的规范化
- 当列冲突时，即有多个列名称相同时，需要使用on=来指定哪一个列作为key，配合suffixes指定冲突列名
df1 = DataFrame({'employee':['Jack',"Summer","Steve"],
'group':['Accounting','Finance','Marketing']})
df2 = DataFrame({'employee':['Jack','Bob',"Jake"],
'hire_date':[2003,2009,2012],
'group':['Accounting','sell','ceo']})
pd.merge(df1,df2,on='group',how='outer')
- 当两张表没有可进行连接的列时，可使用left_on和right_on手动指定merge中左右两边的哪一列列作为连接的列
df1 = DataFrame({'employee':['Bobs','Linda','Bill'],
'group':['Accounting','Product','Marketing'],
'hire_date':[1998,2017,2018]})
df5 = DataFrame({'name':['Lisa','Bobs','Bill'],
'hire_dates':[1998,2016,2007]})
pd.merge(df1,df5,left_on='employee',right_on='name',how='outer') #指定左右表相关联的列
5.5 内合并与外合并:out取并集 inner取交集
- 内合并：只保留两者都有的key（默认模式）
df6 = DataFrame({'name':['Peter','Paul','Mary'],
'food':['fish','beans','bread']}
)
df7 = DataFrame({'name':['Mary','Joseph'],
'drink':['wine','beer']})
- 外合并 how='outer'：补NaN
df6 = DataFrame({'name':['Peter','Paul','Mary'],
'food':['fish','beans','bread']}
)
df7 = DataFrame({'name':['Mary','Joseph'],
'drink':['wine','beer']})
六 数据处理
6.1 删除重复元素 duplicated()
使用duplicated()函数检测重复的行，返回元素为布尔类型的Series对象，每个元素对应一行，如果该行不是第一次出现，则元素为True
- keep参数：指定保留哪一重复的行数据
#数据准备 #创建一个df np.random.seed(1) df = DataFrame(np.random.randint(0,100,size=(8,6))) #手动将df的某几行设置成相同的内容 df.iloc[1] = [6,6,6,6,6,6] df.iloc[3] = [6,6,6,6,6,6] df.iloc[4] = [6,6,6,6,6,6]
方式一
df.duplicated(keep='last')
indexs = df[df.duplicated(keep='last')].index #获取需要删除行的索引 df.drop(labels=indexs,axis=0) #删除重复行
方式二:
使用drop_duplicates()函数删除重复的行
- drop_duplicates(keep='first/last'/False)
df.drop_duplicates() #一步到位
6.2 映射
(1)replace( )函数:替换元素
使用replace()函数，对values进行映射操作
Series替换操作
- 单值替换
- 普通替换
- 字典替换(推荐）
- 多值替换
- 列表替换
- 字典替换（推荐）
- 参数
- to_replace:被替换的元素
replace参数说明：
- method：对指定的值使用相邻的值填充替换
- limit：设定填充次数
DataFrame替换操作
- 单值替换
- 普通替换： 替换所有符合要求的元素:to_replace=15,value='e'
- 按列指定单值替换： to_replace={列标签：替换值} value='value'
- 多值替换
- 列表替换: to_replace=[] value=[]
- 字典替换（推荐） to_replace={to_replace:value,to_replace:value}
注意：DataFrame中，无法使用method和limit参数
df.replace(to_replace=6,value='six') #用'six'代替df中的'6' df.replace(to_replace={3:6},value='six') #用'six'代替df中第4列的'6' df.replace(to_replace={1:'one'}) #用'one'代替df中的''1'
6.3 map()函数：新建一列 ， map函数并不是df的方法，而是series的方法
- map()可以映射新一列数据
- map()中可以使用lambd表达式
-
map()中可以使用方法，可以是自定义的方法
eg:map({to_replace:value})
注意 map()中不能使用sum之类的函数，for循环
dic = { 'name':['周杰伦','李四','王五'], 'salary':[1000,2000,3000] } df = DataFrame(data=dic)
#新增一列：给df中，添加一列，该列的值为中文名对应的英文名 #封装一个映射关系表 dic = { '周杰伦':'jay', '王五':'wangwu', '李四':'lisi' } df['ename'] = df['name'].map(dic) df
map当做一种运算工具，至于执行何种运算，是由map函数的参数决定的（参数：lambda，函数）
- 使用自定义函数
#自定义函数 def after_salary(s): if s <= 500: return s else: return s - (s-500)*0.5 #超过500部分的钱缴纳50%的税 after_sal = df['salary'].map(after_salary) df['after_salary'] = after_sal df
- 使用lambda表达式
#员工的薪资集体提高500 df['salary'].map(lambda x:x+500)
6.4 数据重排 --- 使用.take()函数排序
- take()函数接受一个索引列表，用数字表示,使得df根据列表中索引的顺序进行排序
- eg:df.take([1,3,4,2,5])- np.random.permutation(x)可以生成x个从0-(x-1)的随机数列
df.take(np.random.permutation(1000),axis=0).take(np.random.permutation(3),axis=1)
#np.random.permutation(1000) :把0,1000随机排列成列表
当DataFrame规模足够大时，直接使用np.random.permutation(x)函数，就配合take()函数实现随机抽样
6.5 数据分类处理【重点】
数据聚合是数据处理的最后一步，通常是要使每一个数组生成一个单一的数值。
数据分类处理：
- 分组：先把数据分为几组
- 用函数处理：为不同组的数据应用不同的函数以转换数据
- 合并：把不同组得到的结果合并起来
数据分类处理的核心：
- groupby()函数
- groups属性查看分组情况
- eg: df.groupby(by='item').groups6.5.1 分组
#数据源 df = DataFrame({'item':['Apple','Banana','Orange','Banana','Orange','Apple'], 'price':[4,3,3,2.5,4,2], 'color':['red','yellow','yellow','green','green','green'], 'weight':[12,20,50,30,20,44]}) #分组 df.groupby(by='item') #查看分组情况 df.groupby(by='item').groups
分组后可以聚合:.sum,.mean
#计算出苹果的平均价格 dic = { 'Apple':3, 'Banana':2.75, 'Orange':3.5 } df['mean_price'] = df['item'].map(dic) df.groupby(by='item')['price'].mean()['Apple'] #按颜色查看各种颜色的水果的平均价格 df.groupby(by='color')['price'].mean() dic={ 'green':2.83, 'red':4, 'yellow':3 } df['color_mean_price'] = df['color'].map(dic) df
6.6 高级数据聚合
使用groupby分组后，也可以使用transform和apply提供自定义函数实现更多的运算
- df.groupby('item')['price'].sum() <==> df.groupby('item')['price'].apply(sum)
- transform和apply都会进行运算，在transform或者apply中传入函数即可
- transform和apply也可以传入一个lambda表达式
#求出各种水果价格的平均值 df.groupby(by='item')['price'].mean()
apply和transform
#定义执行方法
def fun(s): sum = 0 for i in s: sum+=s return sum/s.size
#使用apply函数求出水果的平均价格 df.groupby(by='item')['price'].apply(fun) #给fun传入的参数是一个列表 #使用transform函数求出水果的平均价格 df.groupby(by='item')['price'].transform(fun) #给fun传入的参数是一个列表