pd对象拥有一组常用的数学和统计方法。大部分都属于约简和汇总统计，用于从Series中单个值，如sum 和 mean 或从DF的行或列中提取一个Series。
1、 描述和汇总统计方法
#汇总和计算描述统计 import numpy as np import pandas as pd #定义一个4*2维的数据结构 df = pd.DataFrame([[1.4, np.nan], [7.1, -4.5], [np.nan, np.nan], [0.75, -1.3]], index = list('abcd'), columns = ['one', 'two']) df #默认列汇总 df.sum() #行汇总 df.sum(axis = 1) #Na值被自动排除，除非整个切片都是NA,通过 skipna选项可以禁用该功能 df.mean(axis =1, skipna = False)
df.sum() Out[120]: one 9.25 two -5.80 dtype: float64 df.sum(axis = 1) Out[121]: a 1.40 b 2.60 c 0.00 d -0.55 dtype: float64 df.mean(axis =1, skipna = False) Out[122]: a NaN b 1.300 c NaN d -0.275 dtype: float64
约简方法的选项
#定义一个4*2维的数据结构 df = pd.DataFrame([[1.4, np.nan], [7.1, -4.5], [np.nan, np.nan], [0.75, -1.3]], index = list('abcd'), columns = ['one', 'two']) df #默认列汇总 df.sum() #行汇总 df.sum(axis = 1) #Na值被自动排除，除非整个切片都是NA,通过 skipna选项可以禁用该功能 df.mean(axis =1, skipna = False) #有此方法，idmin 和 idxmax返回的是间接统计，比如达到最小值或最大值的索引 #达到最大值的索引 df.idxmax() df.idxmin() #累计型方法 df #累计汇总 df.cumsum() #describe用于一次性产生多个汇总统计 df.describe() #对于非数值型数据，describe会产生另外一种汇总统计 obj = pd.Series(['a', 'a', 'b', 'c'] * 4) obj obj.describe()
obj.describe()
Out[130]:
count 16
unique 3
top a
freq 8
dtype: object
描述和汇总统计方法
2、 相关系数和协方差
有些汇总统计是通过参数对计算出来的
计算百分数变化：.pct_change()
Series的corr方法用于计算两个Series中重叠的、非NA的，按索引对齐的值的相关系数， cov用于计算协方差
DataFrame的corr和cov方法将以DataFrame的形式返回完整的相关系数或协方差矩阵
利用DataFrame的corrwith方法，计算其列或行跟另一个Series或DataFrame之间的相关系数
df = pd.DataFrame(np.random.randn(5, 10), index= list('abcde'), columns = ['x1', 'x2', 'x3', 'x4', 'x5', 'x6', 'x7', 'x8', 'x9', 'x10']) df returns = df['x1'].pct_change() returns returns.tail() df.x1.corr(df.x2) df.x1.cov(df.x2) df.corrwith(df.x3)
3、唯一值、值计数以及成员资格
#唯一值、值计数以及成员资格 obj = pd.Series(['c', 'a', 'd', 'a', 'a', 'b', 'b', 'c', 'c']) obj #第一个函数unique, 它可以得到Series中的唯一值数组 uniques = obj.unique() uniques
uniques
Out[159]: array(['c', 'a', 'd', 'b'], dtype=object) #返回的唯一值是未排序的，如果需要的话，对结果再次进行排序 （uniques.sort()） uniques.sort()
Out[164]: array(['a', 'b', 'c', 'd'], dtype=object) #value_counts用于计算一个Series中各值出的频率 obj.value_counts()
Out[165]:
c 3
a 3
b 2
d 1
dtype: int64 #为了便于查看，结果Series是按值频率降序排列的 pd.value_counts(obj.values, sort = False)
Out[166]:
a 3
b 2
d 1
c 3
dtype: int64
#最后是isin，它用于判断矢量化集合的成员资格，可用于选取Series中或DataFrame列中数据的子集 mask = obj.isin(['b', 'c']) mask
mask
Out[168]:
0 True
1 False
2 False
3 False
4 False
5 True
6 True
7 True
8 True
dtype: bool
obj[mask] Out[169]:
0 c
5 b
6 b
7 c
8 c
dtype: object #唯一值、值计数、成员资格方法 """ isin 计算一个表示”Series各值是否包含于传入的值序列中“的布尔型数组 unique 计算Series中的唯一值数组，按发现的顺序返回 value_counts 返回一个Series, 其索引为唯一值，其值为频率，按计数值降序排序 """
#有时，希望得到多个相关列的一张柱状图 data = pd.DataFrame({'Qu1':[1, 3, 4, 3, 4], 'Qu2':[2, 3, 1, 2, 3], 'Qu3': [1, 5, 2, 4, 4]}) data Out[171]:
Qu1 Qu2 Qu3
0 1 2 1
1 3 3 5
2 4 1 2
3 3 2 4
4 4 3 4 #将value_counts传给该DF的apply函数就会出现 result = data.apply(pd.value_counts).fillna(0) result
Out[173]:
Qu1 Qu2 Qu3
1 1.0 1.0 1.0
2 0.0 2.0 1.0
3 2.0 2.0 0.0
4 2.0 0.0 2.0
5 0.0 0.0 1.0