对数据进行建模处理时,常需要进行数据分布检验。
import numpy as np from scipy import stats a = np.random.normal(0,1,50) '''输出结果中第一个为统计量,第二个为P值(统计量越接近1越表明数据和正态分布拟合的好, P值大于指定的显著性水平,接受原假设,认为样本来自服从正态分布的总体)''' print(stats.shapiro(a)) '''输出结果中第一个为统计量,第二个为P值(注:统计量越接近0就越表明数据和标准正态分布拟合的越好, 如果P值大于显著性水平,通常是0.05,接受原假设,则判断样本的总体服从正态分布)''' print(stats.kstest(a, 'norm')) '''输出结果中第一个为统计量,第二个为P值(注:p值大于显著性水平0.05,认为样本数据符合正态分布)''' print(stats.normaltest(a))
scipy.stats.kstest(K-S检验)
kstest 是一个很强大的检验模块,除了正态性检验,还能检验 scipy.stats 中的其他数据分布类型,仅适用于连续分布的检验,
原假设:数据符合正态分布
kstest(rvs, cdf, args=(), N=20, alternative='two_sided', mode='approx', **kwds)
对于正态性检验,我们只需要手动设置三个参数即可:
rvs:待检验的一组一维数据
cdf:检验方法,例如'norm','expon','rayleigh','gamma',这里我们设置为'norm',即正态性检验
alternative:默认为双尾检验,可以设置为'less'或'greater'作单尾检验
model:'approx'(默认),使用检验统计量的精确分布的近视值,
'asymp':使用检验统计量的渐进分布
scipy.stats.shapiro(W检验)
与 kstest 不同,shapiro 是专门用来做正态性检验的模块
原假设:样本数据符合正态分布
注意:shapiro是用来检验小样本数据(数据量<>
scipy.stats.shapiro(x, a=None, reta=False)
一般我们只用 x 参数就行,x 即待检验的数据
scipy.stats.normaltest
normaltest 也是专门做正态性检验的模块,原理是基于数据的skewness和kurtosis
scipy.stats.normaltest(a, axis=0, nan_policy='propagate')
a:待检验的数据
axis:默认为0,表示在0轴上检验,即对数据的每一行做正态性检验,我们可以设置为 axis=None 来对整个数据做检验
nan_policy:当输入的数据中有空值时的处理办法。默认为 'propagate',返回空值;设置为 'raise' 时,抛出错误;设置为 'omit' 时,在计算中忽略空值。