误区一:如果不能拒绝原假设,那么便接受原假设(错误)
在多大数假设检验的应用中(即显著性检验),虽然对发生第一类错误的概率进行了控制,但并没有控制第二类错误发生的概率。因此,如果样本数据不能拒绝原假设,我们决定接受原假设的话,其实并不能确定该决策有多大的可信度。因此,我们在叙述中通常用“不能拒绝原假设”,而不是“接受原假设”。
“不能拒绝原假设”说明我们对判断持保留意见。只要未对第二类错误发生的概率加以控制,就不能得出接受原假设的结论。在这种情况下,我们只能得出两种结论:拒绝原假设或不能拒绝原假设。
误区二:p值代表事件(原假设)发生的概率,p值越小,说明事件越不可能发生(错误)
如果p<=α,我们拒绝原假设,这不是说原假设发生的可能性非常小,而是说当原假设为真时,我们错误拒绝原假设的概率非常小。
p值表示的是:当原假设为真时,出现样本检验统计量的具体值或更极端结果的概率。也可以说,p 值是犯第一类错误的实际概率。
误区三:把α值设置的越小越好(错误)
把α值设置的越小,就是把犯第一类错误的概率控制得很小,但是不要忘了,还有犯第二类错误的情况呢。对于给定的样本量,减小α会使β增大,反之,增大α会使β减小。因此,不能毫无必要地选择非常小的显著性水平α,否则会增大第二类错误发生的概率β。
误区四:如果p<=0.05,结果就是显著的(错误)
通常,人们会把α值设为0.05,以至于这成了一种通用做法。但在不同的情况下,小概率事件发生的标准是不同的,我们应该用自己的专业知识进行判断。事实上,不应该只把p值作为评判的手段,最好要计算出置信区间,效应量等。
误区五:置信度0.95表示有95%的概率,总体参数会落在置信区间内(错误)
置信区间是对总体参数的区间估计,因此,每次抽样计算出的置信区间都不同。要记住,总体参数是不变的,置信区间是包含总体参数的随机区间。置信度0.95表示有95%的概率,置信区间会包含总体参数。
附:
还有一个地方是我自己刚开始搞晕的。
α:错误拒绝原假设的概率。(相当于FN)
β:错误接受原假设的概率。(相当于FP)
1-β:正确拒绝原假设的概率。(相当于TN)
注意:α +β 不一定等于 1(基本上除特殊情况外都不等于1,因为它们根本就是两码事) 。