【转载请注明出处】http://www.cnblogs.com/mashiqi
在回归问题中，偶尔我们会遇到求方差的估计的情况。举了例子，我们常常通过Gaussian分布${cal N}(mu ,{sigma^2})$的样本集合${x_i}_{i=1}^n$去估计分布的参数$mu,sigma^2$。对$mu$的估计应该大家都很熟悉了：$hat{mu}=ar{x} =frac{1}{n} sum_{i=1}^n x_i$，然而，对$sigma^2$的估计，在教科书中，却常常见到两种形式：
第一种形式就不解释了，第二种形式一般称为对$sigma^2$的无偏估计形式。这是除以$n-1$才是无偏的呢？这个问题往往是刚接触的同学的困惑。不过这个$n-1$似乎也不是那么的天外来客：你看，$ar{x}$与$x_i$并不是独立的，这必然导致每一个求和项$(x_1-ar{x}),(x_2-ar{x}),cdots,(x_n-ar{x})$之间并不是完全的独立的关系，因此求和之后直接除以$n$肯定不对啊，要调整，这个调整就是减一：$n ightarrow n-1$。以上是一个make sense的解释，相信大家听了过后就会理解为什么要减一了。但是处女座同学和强迫症患者往往不会仅仅满足于此(裤子都脱了，你就给我说这些!?)，所以，下面就给一个mathematical的解释。
RSS(Residual Sum of Squares)的定义是：
其中$ar{x} = frac{1}{n} sum_{i=1}^n x_i$是平均值。我们的目标是没有蛀牙把$RSS$转化成一个个相互独立的项然后求和。
我们记最后的中间的这个矩阵为$A$，由于$A$是实对称的，因此肯定和对角矩阵合同。对$A$进行对角分解得：
其中$P$是正交矩阵。于是有
其中$y=P^Tx$。我们现在来检查一下$y$的方差(假设$Ex=0$)：
因此$y$的各个分量${y_i}_{i=1}^n$之间相互独立，并且方差为$sigma^2$。所以从式来看，$RSS/(n-1)$确实是对$sigma^2$的一个不错的估计(无偏的)！
正交矩阵$P$是怎么得到的呢？
$lambda=0$对应的单位特征向量为$(1/sqrt{n},1/sqrt{n},cdots,1/sqrt{n})^T$；
$lambda=1$对应的$n-1$个单位特征向量为$p_i$，其中$p_i in {alpha in mathcal{R}^n|(1,1,cdots,1)alpha=0,||alpha||_2=1}$，并且$p_i,p_j$之间相互垂直。
经过我抓耳挠腮的推导后，求出$p_i$是这样的(大家拿去用吧不用感谢我/羞)：
其中$p_i$的前$i-1$个分量是$frac{1}{sqrt{(i-1)i}}$，第$i$个分量是$-frac{i-1}{sqrt{(i-1)i}}$，后面的就算是0。其中需要专门给出的是$p_i=(frac{1}{sqrt{2}},-frac{1}{sqrt{2}},0,cdots,0)$。因此：
因此，$x$和$y$之间的对应关系就是：
补充内容：
$$sum_{i=1}^n (x_i - ar{x})^2 = sum_{i=1}^n x_i^2 - frac{1}{n} sum_{i,j=1}^n x_i x_j = frac{1}{2n} sum_{i,j=1}^n (x_i - x_j)^2$$