本文翻译整理自Pandas Cheat Sheet - Python for Data Science,结合K-Lab的工具属性，添加了具体的内容将速查清单里面的代码实践了一遍。
点击右上角的Fork按钮上手实践,即可点击标题实现内容跳转
- [缩写解释 & 库的导入]
- [数据的导入]
- [数据的导出]
- [创建测试对象]
- [数据的查看与检查]
- [数据的选取]
- [数据的清洗]
- [数据的过滤(
filter),排序(sort)和分组(groupby)] - [数据的连接(
join)与组合(combine)] - [数据的统计]
df --- 任意的pandas DataFrame(数据框)对象s --- 任意的pandas Series(数组)对象pandas和numpy是用Python做数据分析最基础且最核心的库
In [2]:
import pandas as pd # 导入pandas库并简写为pd
import numpy as np # 导入numpy库并简写为np
In [1]:
import pandas as pd
import numpy as np
pd.read_csv(filename) # 导入csv格式文件中的数据
pd.read_table(filename) # 导入有分隔符的文本 (如TSV) 中的数据
pd.read_excel(filename) # 导入Excel格式文件中的数据
pd.read_sql(query, connection_object) # 导入SQL数据表/数据库中的数据
pd.read_json(json_string) # 导入JSON格式的字符，URL地址或者文件中的数据
pd.read_html(url) # 导入经过解析的URL地址中包含的数据框 (DataFrame) 数据
pd.read_clipboard() # 导入系统粘贴板里面的数据
pd.DataFrame(dict) # 导入Python字典 (dict) 里面的数据，其中key是数据框的表头，value是数据框的内容。
In [4]:
pd.read_csv(filename)
pd.read_table(filename)
pd.read_excel(filename)
pd.read_sql(query, connection_object)
pd.read_json(json_string)
pd.read_html(url)
pd.read_clipboard()
pd.DataFrame(dict)
df.to_csv(filename) # 将数据框 (DataFrame)中的数据导入csv格式的文件中
df.to_excel(filename) # 将数据框 (DataFrame)中的数据导入Excel格式的文件中
df.to_sql(table_name,connection_object) # 将数据框 (DataFrame)中的数据导入SQL数据表/数据库中
df.to_json(filename) # 将数据框 (DataFrame)中的数据导入JSON格式的文件中
In [5]:
df.to_csv(filename)
df.to_excel(filename)
df.to_sql(table_name, connection_object)
df.to_json(filename)
pd.DataFrame(np.random.rand(10,5)) # 创建一个5列10行的由随机浮点数组成的数据框 DataFrame
In [6]:
pd.DataFrame(np.random.rand(10,5))
Out[6]:
In [2]:
pd.DataFrame(np.random.rand(10,5))
Out[2]:
pd.Series(my_list) # 从一个可迭代的对象 my_list 中创建一个数据组
In [7]:
my_list = ['huang', 100, 'xiaolei',4,56]
pd.Series(my_list)
Out[7]:
In [3]:
my_list = ['Kesci',100,'欢迎来到科赛网']
pd.Series(my_list)
Out[3]:
df.index = pd.date_range('2017/1/1', periods=df.shape[0]) # 添加一个日期索引 index
In [4]:
df = pd.DataFrame(np.random.rand(10,5))
df.index = pd.date_range('2017/1/1', periods=df.shape[0])
df
Out[4]:
df.head(n) # 查看数据框的前n行
In [9]:
df = pd.DataFrame(np.random.rand(10, 5))
df.head(5)
Out[9]:
In [5]:
df = pd.DataFrame(np.random.rand(10,5))
df.head(3)
Out[5]:
df.tail(n) # 查看数据框的最后n行
In [10]:
df = pd.DataFrame(np.random.rand(15,8))
df.tail(4)
Out[10]:
In [6]:
df = pd.DataFrame(np.random.rand(10,5))
df.tail(3)
Out[6]:
df.shape # 查看数据框的行数与列数
In [11]:
df = pd.DataFrame(np.random.rand(14, 5))
df.shape
Out[11]:
In [7]:
df = pd.DataFrame(np.random.rand(10,5))
df.shape
Out[7]:
df.info() # 查看数据框 (DataFrame) 的索引、数据类型及内存信息
In [13]:
df = pd.DataFrame(np.random.rand(10, 4))
df.info()
In [8]:
df = pd.DataFrame(np.random.rand(10,5))
df.info()
df.describe() # 对于数据类型为数值型的列，查询其描述性统计的内容
In [14]:
df.describe()
Out[14]:
In [9]:
df.describe()
Out[9]:
s.value_counts(dropna=False) # 查询每个独特数据值出现次数统计
In [16]:
s = pd.Series([1,2,5,6,6,6,6,5,5,'huang'])
s.value_counts(dropna=False)
Out[16]:
In [10]:
s = pd.Series([1,2,3,3,4,np.nan,5,5,5,6,7])
s.value_counts(dropna=False)
Out[10]:
df.apply(pd.Series.value_counts) # 查询数据框 (Data Frame) 中每个列的独特数据值出现次数统计
In [19]:
pd.DataFrame(np.random.rand(3, 3))
print(df)
df.apply(pd.Series.value_counts)
Out[19]:
df[col] # 以数组 Series 的形式返回选取的列
In [23]:
df = pd.DataFrame(np.random.rand(5, 6), columns=list('abcdef'))
df['c']
Out[23]:
In [11]:
df = pd.DataFrame(np.random.rand(5,5),columns=list('ABCDE'))
df['C']
Out[11]:
df[[col1, col2]] # 以新的数据框(DataFrame)的形式返回选取的列
In [25]:
df = pd.DataFrame(np.random.rand(5, 4), columns=list('abcd'))
df[['a','d']]
Out[25]:
In [12]:
df = pd.DataFrame(np.random.rand(5,5),columns=list('ABCDE'))
df[['B','E']]
Out[12]:
s.iloc[0] # 按照位置选取
In [11]:
s = pd.Series(np.array(['huang','xiao','lei']))
print(s)
s.iloc[1]
Out[11]:
In [13]:
s = pd.Series(np.array(['I','Love','Data']))
s.iloc[0]
Out[13]:
s.loc['index_one'] # 按照索引选取
In [10]:
s = pd.Series(np.array(['df','s','df']))
print(s)
s.loc[1]
Out[10]:
In [14]:
s = pd.Series(np.array(['I','Love','Data']))
s.loc[1]
Out[14]:
df.iloc[0,:] # 选取第一行
In [24]:
df = pd.DataFrame(np.random.rand(5, 5),columns= list('abcde'))
print(df)
#df.iloc[1, :]
df.loc[1:3]
Out[24]:
In [15]:
df = pd.DataFrame(np.random.rand(5,5),columns=list('ABCDE'))
df.iloc[0,:]
Out[15]:
df.iloc[0,0] # 选取第一行的第一个元素
In [26]:
df = pd.DataFrame(np.random.rand(10, 5), columns=list('asdfg'))
print(df)
df.iloc[1,3]
Out[26]:
In [16]:
df = pd.DataFrame(np.random.rand(10,5),columns=list('ABCDE'))
df.iloc[0,0]
Out[16]:
df.columns = ['a','b'] # 重命名数据框的列名称
In [36]:
df = pd.DataFrame({'a':np.array([1,2,5,8,4,3]), 'b':np.array([9,3,7,5,3,4]), 'c':'htl'})
df.columns = ['q','e','r']
df
Out[36]:
In [30]:
df = pd.DataFrame({'A':np.array([1,np.nan,2,3,6,np.nan]),
'B':np.array([np.nan,4,np.nan,5,9,np.nan]),
'C':'foo'})
df.columns = ['a','b','c']
df
Out[30]:
pd.isnull() # 检查数据中空值出现的情况，并返回一个由布尔值(True,Fale)组成的列
In [37]:
df = pd.DataFrame({'a':np.array([1,np.nan,2,3,6,np.nan]),
'b':np.array([np.nan,4,np.nan,5,9,np.nan]),
'c':'sdf'})
pd.isnull(df)
Out[37]:
In [18]:
df = pd.DataFrame({'A':np.array([1,np.nan,2,3,6,np.nan]),
'B':np.array([np.nan,4,np.nan,5,9,np.nan]),
'C':'foo'})
pd.isnull(df)
Out[18]:
pd.notnull() # 检查数据中非空值出现的情况，并返回一个由布尔值(True,False)组成的列
In [39]:
df = pd.DataFrame({
'a':np.array([1,np.nan,2,3,4,np.nan]),
'b':np.array([np.nan,4,np.nan,5,9,np.nan]),
'c':'foo'
})
pd.notnull(df)
Out[39]:
In [40]:
df = pd.DataFrame({'A':np.array([1,np.nan,2,3,6,np.nan]),
'B':np.array([np.nan,4,np.nan,5,9,np.nan]),
'C':'foo'})
pd.notnull(df)
df.dropna()
Out[40]:
df.dropna() # 移除数据框 DataFrame 中包含空值的行
In [20]:
df = pd.DataFrame({'A':np.array([1,np.nan,2,3,6,np.nan]),
'B':np.array([np.nan,4,np.nan,5,9,np.nan]),
'C':'foo'})
df.dropna()
Out[20]:
df.dropna(axis=1) # 移除数据框 DataFrame 中包含空值的列
In [45]:
df = pd.DataFrame({
'a':np.array([1,np.nan,2,3,4,np.nan]),
'b':np.array([np.nan,4,np.nan,5,9,np.nan]),
'c':'foo'
})
print(df)
df.dropna(axis=1)
Out[45]:
In [21]:
df = pd.DataFrame({'A':np.array([1,np.nan,2,3,6,np.nan]),
'B':np.array([np.nan,4,np.nan,5,9,np.nan]),
'C':'foo'})
df.dropna(axis=1)
Out[21]:
df.dropna(axis=1,thresh=n) # 移除数据框df中空值个数不超过n的行
In [73]:
df = pd.DataFrame({'A':np.array([1,np.nan,2,3,6,np.nan]),
'B':np.array([np.nan,4,np.nan,5,9,np.nan]),
'C':'foo'})
print(df)
df.dropna(axis=1,thresh=3)
Out[73]:
In [22]:
df = pd.DataFrame({'A':np.array([1,np.nan,2,3,6,np.nan]),
'B':np.array([np.nan,4,np.nan,5,9,np.nan]),
'C':'foo'})
test = df.dropna(axis=1,thresh=1)
test
Out[22]:
df.fillna(x) # 将数据框 DataFrame 中的所有空值替换为 x
In [76]:
df = pd.DataFrame({'A':np.array([1,np.nan,2,3,6,np.nan]),
'B':np.array([np.nan,4,np.nan,5,9,np.nan]),
'C':'foo'})
print(df)
df.fillna('huang')
Out[76]:
In [23]:
df = pd.DataFrame({'A':np.array([1,np.nan,2,3,6,np.nan]),
'B':np.array([np.nan,4,np.nan,5,9,np.nan]),
'C':'foo'})
df.fillna('Test')
Out[23]:
s.fillna(s.mean()) -> 将所有空值替换为平均值
In [82]:
s = pd.Series([1,3,4,np.nan,7,8,9])
a = s.fillna(s.mean())
print(a)
In [24]:
s = pd.Series([1,3,5,np.nan,7,9,9])
s.fillna(s.mean())
Out[24]:
s.astype(float) # 将数组(Series)的格式转化为浮点数
In [85]:
s = pd.Series([1,2,4,np.nan,5,6,6])
a = s.fillna(s.mean())
a.astype(int)
Out[85]:
In [25]:
s = pd.Series([1,3,5,np.nan,7,9,9])
s.astype(float)
Out[25]:
s.replace(1,'one') # 将数组(Series)中的所有1替换为'one'
In [86]:
s = pd.Series([1,2,4,np.nan,5,6,7])
s.replace(1,'yi')
Out[86]:
In [26]:
s = pd.Series([1,3,5,np.nan,7,9,9])
s.replace(1,'one')
Out[26]:
s.replace([1,3],['one','three']) # 将数组(Series)中所有的1替换为'one', 所有的3替换为'three'
In [87]:
s = pd.Series([1,3,4,np.nan,7,3,5])
s.replace([1,4],['sd', 'dsf'])
Out[87]:
In [27]:
s = pd.Series([1,3,5,np.nan,7,9,9])
s.replace([1,3],['one','three'])
Out[27]:
df.rename(columns=lambda x: x + 2) # 将全体列重命名
In [20]:
df = pd.DataFrame(np.random.rand(4, 4))
df.rename(columns=lambda x:x+2 )
Out[20]:
In [28]:
df = pd.DataFrame(np.random.rand(4,4))
df.rename(columns=lambda x: x+ 2)
Out[28]:
df.rename(columns={'old_name': 'new_ name'}) # 将选择的列重命名
In [24]:
df = pd.DataFrame(np.random.rand(10, 5), columns=list('asdfp'))
df.rename(columns={'a':'huang', 'd':'xiao'})
Out[24]:
In [29]:
df = pd.DataFrame(np.random.rand(10,5),columns=list('ABCDE'))
df.rename(columns={'A':'newA','C':'newC'})
Out[29]:
df.set_index('column_one') # 改变索引
In [27]:
df = pd.DataFrame(np.random.rand(10, 5), columns=list('asdfg'))
print(df)
df.set_index('a')
Out[27]:
In [30]:
df = pd.DataFrame(np.random.rand(10,5),columns=list('ABCDE'))
df.set_index('B')
Out[30]:
df.rename(index = lambda x: x+ 1) # 改变全体索引
In [29]:
df = pd.DataFrame(np.random.rand(10, 5))
df.rename(index = lambda x: x+1)
Out[29]:
In [31]:
df = pd.DataFrame(np.random.rand(10,5))
df.rename(index = lambda x: x+ 1)
Out[31]:
df[df[col] > 0.5] # 选取数据框df中对应行的数值大于0.5的全部列
In [33]:
df = pd.DataFrame(np.random.rand(10, 5), columns=list('asdfg'))
print(df)
df[df['a']>0.5]
Out[33]:
In [32]:
df = pd.DataFrame(np.random.rand(10,5),columns=list('ABCDE'))
df[df['A'] > 0.5]
Out[32]:
df[(df[col] > 0.5) & (df[col] < 0.7)] # 选取数据框df中对应行的数值大于0.5，并且小于0.7的全部列
In [34]:
df = pd.DataFrame(np.random.rand(10,6),columns= list('qwerty'))
df[(df['e'] > 0.5) &(df['t'] < 0.7) ]
Out[34]:
In [33]:
df = pd.DataFrame(np.random.rand(10,5),columns=list('ABCDE'))
df[(df['C'] > 0.5) & (df['D'] < 0.7)]
Out[33]:
df.sort_values(col1) # 按照数据框的列col1升序(ascending)的方式对数据框df做排序
In [35]:
df = pd.DataFrame(np.random.rand(10,6),columns=list('adsfgh'))
df.sort_values('a')
Out[35]:
In [34]:
df = pd.DataFrame(np.random.rand(10,5),columns=list('ABCDE'))
df.sort_values('E')
Out[34]:
df.sort_values(col2,ascending=False) # 按照数据框的列col2降序(descending)的方式对数据框df做排序
In [36]:
df = pd.DataFrame(np.random.rand(10, 8),columns=list('qwertyui'))
df.sort_values('e', ascending=False)
Out[36]:
In [35]:
df = pd.DataFrame(np.random.rand(10,5),columns=list('ABCDE'))
df.sort_values('A',ascending=False)
Out[35]:
df.sort_values([col1,col2],ascending=[True,False]) # 按照数据框的列col1升序，col2降序的方式对数据框df做排序
In [37]:
df = pd.DataFrame(np.random.rand(5,6),columns=list('qwerty'))
df.sort_values(['q', 'w'],ascending=[True, False])
Out[37]:
In [36]:
df = pd.DataFrame(np.random.rand(10,5),columns=list('ABCDE'))
df.sort_values(['A','E'],ascending=[True,False])
Out[36]:
df.groupby(col) # 按照某列对数据框df做分组
In [3]:
df = pd.DataFrame({
'a':np.array(['huang','huang','huang','xiao','xiao','xiao']),
'b':np.array(['lei','lei','lei','xiao','xiao','lei']),
'c':np.array(['small','medium','large','small','large','medium']),
'd':np.array([1,2,3,4,5,6])
})
df.groupby('a').count()
Out[3]:
In [38]:
df = pd.DataFrame({'A':np.array(['foo','foo','foo','foo','bar','bar']),
'B':np.array(['one','one','two','two','three','three']),
'C':np.array(['small','medium','large','large','small','small']),
'D':np.array([1,2,2,3,3,5])})
print(df)
df.groupby('A').count()
Out[38]:
df.groupby([col1,col2]) # 按照列col1和col2对数据框df做分组
In [4]:
df = pd.DataFrame({
'a':np.array(['s','s','s','e','e','e']),
'b':np.array(['q','w','e','e','e','w']),
'c':np.array(['t','t','t','hu','hi','jk'])
})
print(df)
df.groupby(['a','b']).count()
Out[4]:
In [39]:
df = pd.DataFrame({'A':np.array(['foo','foo','foo','foo','bar','bar']),
'B':np.array(['one','one','two','two','three','three']),
'C':np.array(['small','medium','large','large','small','small']),
'D':np.array([1,2,2,3,3,5])})
print(df)
df.groupby(['B','C']).sum()
Out[39]:
df.groupby(col1)[col2].mean() # 按照列col1对数据框df做分组处理后，返回对应的col2的平均值
In [10]:
df = pd.DataFrame({
'a':np.array(['ho','ho','ho','e','e','e']),
'b':np.array(['huang','huang','lei','lei','xiao','xiao']),
'c':np.array([1,2,3,4,5,6])
})
df.groupby('a')['c'].mean()
Out[10]:
In [39]:
df = pd.DataFrame({'A':np.array(['foo','foo','foo','foo','bar','bar']),
'B':np.array(['one','one','two','two','three','three']),
'C':np.array(['small','medium','large','large','small','small']),
'D':np.array([1,2,2,3,3,5])})
df.groupby('B')['D'].mean()
Out[39]:
pythyon
df.pivot_table(index=col1,values=[col2,col3],aggfunc=mean) # 做透视表，索引为col1,针对的数值列为col2和col3，分组函数为平均值In [11]:
df = pd.DataFrame({'A':np.array(['foo','foo','foo','foo','bar','bar']),
'B':np.array(['one','one','two','two','three','three']),
'C':np.array(['small','medium','large','large','small','small']),
'D':np.array([1,2,2,3,3,5])})
print(df)
df.pivot_table(df,index=['A','B'],
columns=['C'],aggfunc=np.sum)
Out[11]:
df.groupby(col1).agg(np.mean)
In [12]:
df = pd.DataFrame({'A':np.array(['foo','foo','foo','foo','bar','bar']),
'B':np.array(['one','one','two','two','three','three']),
'C':np.array(['small','medium','large','large','small','small']),
'D':np.array([1,2,2,3,3,5])})
print(df)
df.groupby('A').agg(np.mean)
Out[12]:
df.apply(np.mean) # 对数据框df的每一列求平均值
In [13]:
df = pd.DataFrame(np.random.rand(10, 5),columns=list('adsfg'))
df.apply(np.mean)
Out[13]:
In [42]:
df = pd.DataFrame(np.random.rand(10,5),columns=list('ABCDE'))
df.apply(np.mean)
Out[42]:
df.apply(np.max,axis=1) # 对数据框df的每一行求最大值
In [14]:
df = pd.DataFrame(np.random.rand(10, 6),columns=list('asdfrg'))
df.apply(np.max, axis=1)
Out[14]:
In [43]:
df = pd.DataFrame(np.random.rand(10,5),columns=list('ABCDE'))
df.apply(np.max,axis=1)
Out[43]:
df1.append(df2) # 在数据框df2的末尾添加数据框df1，其中df1和df2的列数应该相等
In [44]:
df1 = pd.DataFrame({'A': ['A0', 'A1', 'A2', 'A3'],
'B': ['B0', 'B1', 'B2', 'B3'],
'C': ['C0', 'C1', 'C2', 'C3'],
'D': ['D0', 'D1', 'D2', 'D3']},
index=[0, 1, 2, 3])
df2 = pd.DataFrame({'A': ['A4', 'A5', 'A6', 'A7'],
'B': ['B4', 'B5', 'B6', 'B7'],
'C': ['C4', 'C5', 'C6', 'C7'],
'D': ['D4', 'D5', 'D6', 'D7']},
index=[4, 5, 6, 7])
df1.append(df2)
Out[44]:
pd.concat([df1, df2],axis=1) # 在数据框df1的列最后添加数据框df2,其中df1和df2的行数应该相等
In [45]:
df1 = pd.DataFrame({'A': ['A0', 'A1', 'A2', 'A3'],
'B': ['B0', 'B1', 'B2', 'B3'],
'C': ['C0', 'C1', 'C2', 'C3'],
'D': ['D0', 'D1', 'D2', 'D3']},
index=[0, 1, 2, 3])
df2 = pd.DataFrame({'A': ['A4', 'A5', 'A6', 'A7'],
'B': ['B4', 'B5', 'B6', 'B7'],
'C': ['C4', 'C5', 'C6', 'C7'],
'D': ['D4', 'D5', 'D6', 'D7']},
index=[4, 5, 6, 7])
pd.concat([df1,df2],axis=1)
Out[45]:
df1.join(df2,on=col1,how='inner') # 对数据框df1和df2做内连接，其中连接的列为col1
In [46]:
df1 = pd.DataFrame({'A': ['A0', 'A1', 'A2', 'A3'],
'B': ['B0', 'B1', 'B2', 'B3'],
'key': ['K0', 'K1', 'K0', 'K1']})
df2 = pd.DataFrame({'C': ['C0', 'C1'],
'D': ['D0', 'D1']},
index=['K0', 'K1'])
df1.join(df2, on='key')
Out[46]:
<div id = 'p10'>数据的统计</div>
df.describe() # 得到数据框df每一列的描述性统计
In [4]:
df = pd.DataFrame(np.random.rand(10, 5),columns=list('abcde'))
df.describe()
Out[4]:
In [47]:
df = pd.DataFrame(np.random.rand(10,5),columns=list('ABCDE'))
df.describe()
Out[47]:
df.mean() # 得到数据框df中每一列的平均值
In [6]:
df = pd.DataFrame(np.random.rand(10, 5),columns=list('abcde'))
df.mean()
Out[6]:
In [5]:
df = pd.DataFrame(np.random.rand(10,5),columns=list('ABCDE'))
df.mean()
Out[5]:
df.corr() # 得到数据框df中每一列与其他列的相关系数
In [7]:
df = pd.DataFrame(np.random.rand(10, 5),columns=list('abcde'))
df.corr()
Out[7]:
In [49]:
df = pd.DataFrame(np.random.rand(10,5),columns=list('ABCDE'))
df.corr()
Out[49]:
df.count() # 得到数据框df中每一列的非空值个数
In [8]:
df = pd.DataFrame(np.random.rand(10, 5),columns=list('abcde'))
df.count()
Out[8]:
In [50]:
df = pd.DataFrame(np.random.rand(10,5),columns=list('ABCDE'))
df.count()
Out[50]:
df.max() # 得到数据框df中每一列的最大值
In [12]:
df = pd.DataFrame(np.random.rand(10, 5),columns=list('abcde'))
print(df)
print(df.max())
df.count()
Out[12]:
In [51]:
df = pd.DataFrame(np.random.rand(10,5),columns=list('ABCDE'))
df.max()
Out[51]:
df.min() # 得到数据框df中每一列的最小值
In [52]:
df = pd.DataFrame(np.random.rand(10,5),columns=list('ABCDE'))
df.min()
Out[52]:
df.median() # 得到数据框df中每一列的中位数
In [53]:
df = pd.DataFrame(np.random.rand(10,5),columns=list('ABCDE'))
df.median()
Out[53]:
df.std() # 得到数据框df中每一列的标准差
In [54]:
df = pd.DataFrame(np.random.rand(10,5),columns=list('ABCDE'))
df.std()
Out[54]: