(转)样本方差的期望

(转)样本方差的期望

著作权归作者所有。
商业转载请联系作者获得授权，非商业转载请注明出处。
作者：魏天闻
链接：http://www.zhihu.com/question/20099757/answer/26586088
来源：知乎

首先，我们假定随机变量 $X$ 的数学期望 $mu$ 是已知的，然而方差 $sigma^2$ 未知。在这个条件下，根据方差的定义我们有
$mathbb{E}Big[ig(X_i -muig)^2 Big]=sigma^2, quadforall i=1,ldots,n,$

由此可得
$mathbb{E}Big[frac{1}{n} sum_{i=1}^nBig(X_i -muBig)^2 Big]=sigma^2$ .

因此 $frac{1}{n} sum_{i=1}^nBig(X_i -muBig)^2$ 是方差 $sigma^2$ 的一个无偏估计，注意式中的分母不偏不倚正好是 $n$ ！
这个结果符合直觉，并且在数学上也是显而易见的。

现在，我们考虑随机变量 $X$ 的数学期望 $mu$ 是未知的情形。这时，我们会倾向于无脑直接用样本均值 $ar{X}$ 替换掉上面式子中的 $mu$ 。这样做有什么后果呢？后果就是，
如果直接使用 $frac{1}{n} sum_{i=1}^nBig(X_i -ar{X}Big)^2$ 作为估计，那么你会倾向于低估方差！
这是因为：
$egin{eqnarray} frac{1}{n}sum_{i=1}^n(X_i-ar{X})^2 &=& frac{1}{n}sum_{i=1}^nBig[(X_i-mu) + (mu -ar{X}) Big]^2\ &=& frac{1}{n}sum_{i=1}^n(X_i-mu)^2 +frac{2}{n}sum_{i=1}^n(X_i-mu)(mu -ar{X}) +frac{1}{n}sum_{i=1}^n(mu -ar{X})^2 \ &=& frac{1}{n}sum_{i=1}^n(X_i-mu)^2 +2(ar{X}-mu)(mu -ar{X}) +(mu -ar{X})^2 \ &=&frac{1}{n}sum_{i=1}^n(X_i-mu)^2 -(mu -ar{X})^2 end{eqnarray}$
换言之，除非正好 $ar{X}=mu$ ，否则我们一定有
$frac{1}{n}sum_{i=1}^n(X_i-ar{X})^2 <frac{1}{n}sum_{i=1}^n(X_i-mu)^2$ ,
而不等式右边的那位才是的对方差的“正确”估计！
这个不等式说明了，为什么直接使用 $frac{1}{n} sum_{i=1}^nBig(X_i -ar{X}Big)^2$ 会导致对方差的低估。

那么，在不知道随机变量真实数学期望的前提下，如何“正确”的估计方差呢？答案是把上式中的分母 $n$ 换成 $n-1$ ，通过这种方法把原来的偏小的估计“放大”一点点，我们就能获得对方差的正确估计了：
$mathbb{E}Big[frac{1}{n-1} sum_{i=1}^nBig(X_i -ar{X}Big)^2Big]=mathbb{E}Big[frac{1}{n} sum_{i=1}^nBig(X_i -muBig)^2 Big]=sigma^2.$

至于为什么分母是 $n-1$ 而不是 $n-2$ 或者别的什么数，最好还是去看真正的数学证明，因为数学证明的根本目的就是告诉人们“为什么”；暂时我没有办法给出更“初等”的解释了。

=================================下面是证明===============================================
相关阅读:
LeetCode 42. Trapping Rain Water
LeetCode 209. Minimum Size Subarray Sum
LeetCode 50. Pow(x, n)
LeetCode 80. Remove Duplicates from Sorted Array II
Window10 激活
 Premiere 关键帧缩放
 AE 「酷酷的藤」特效字幕制作方法
 51Talk第一天培训系列1
Premiere 视频转场
 Premiere 暴徒生活Thug Life
原文地址：https://www.cnblogs.com/yxzfscg/p/4959460.html