答案引自知乎
为什么统计上习惯于将显著性水平定为 0.05？
1.
首先，什么是P值？
P值就是当原假设为真时，根据样本观察结果计算的检验统计量落入拒绝域的概率。如果P值很小，说明这种情况的发生的概率很小，而如果出现了，根据小概率原理，我们就有理由拒绝原假设，P值越小，我们拒绝原假设的理由越充分。
其次，显著性水平通常有两种取值（0.01和0.05）- 如果P<0.01，说明是较强的判定结果，拒绝原假设的条件。
- 如果0.01<P值<0.05，说明较弱的判定结果，拒接原假设的条件。
- 如果P值>0.05，说明结果无法拒绝原假设。
链接：https://www.zhihu.com/question/38096459/answer/77078761
The difference between “significant” and “non-significant” is not itself statistically significant.
——Andrew Gelman
------------------------------------
楼上@许行 @Phil Zeng 已经引经据典，说得很清楚了。我就做个补充吧——
有次高校统计学课程教师培训，人大贾俊平老师说：“为何取.05的显著性水平（95％的置信水平）呢？因为第一个提出这种方法的人（应该Fisher大神吧）就是这么做的，大家也就跟着这么做了。其实，.1的显著性水平就够了。”
想想也是：在区间估计时，0.10的显著性（90％的置信水平）已经符合我们通常所说的十拿九稳了。并且，90％相比95％的置信区间，其估计的误差范围要更小，也就是，牺牲估计的把握度可以换来估计的精确度。
而在假设检验时，把犯I类错误的概率压缩到0.10以下，以10次才发生1次的样本作为小概率事件的证据来推翻原假设，一般情况下也够了（写论文时，这已经够打一颗"*"了）。当然在现实中，我们还需要在I类错误还是II类错误之间权衡——如果相比犯I类错误（弃真错误）、我们更不能忍受犯II类错误（取伪错误）的后果，鉴于犯这两类错误的概率是此消彼长的关系，0.1的显著性水平显然比0.05更能减少犯II类错误的机会。反之，如果想减少I类错误，而把显著性水平设得太小，就会增大II类错误的犯错机会。
综上，窃以为把默认的显著性水平设为0.10，有可能比0.05更好。然并卵，大家还是用0.05，因为习惯是多么不容易改变啊。
------------------
附：一般情况下α=0.1就够用了，不过p值是越小越好。
What Does it Mean When p-value < α?
(a) .10, we have some evidence that H0 is not true.
(b) .05, we have strong evidence that H0 is not true.
(c) .01, we have very strong evidence that H0 is not true.
(d) .001, we have extremely strong evidence that H0 is not true
链接：https://www.zhihu.com/question/38096459/answer/77104959
作者：匿名用户
5.
我把P值简单的理解为拒绝原假设范错误的概率。
0.05=1-0.95
而0.95是标准正态分布中两个标准差的概率
这件事发生的概率在正常的两个标准差的范围内，是可以接受的。
也就是俗语所说的，事不过三。
What Does it Mean When p-value < α?
(a) 0.1, we have some evidence that H0 is not true.
(b) 0.05, we have strong evidence that H0 is not true.
(c) 0.01, we have very strong evidence that H0 is not true.
(d) 0.001, we have extremely strong evidence that H0 is not true.