关于正态总体的样本均值与样本方差的重要结论

概要

这些结论为参数的假设检验提供了理论基础，非常重要。参考《概率论与数理统计》记录一下。

 

---

重要定理

 
   设 (x_1,cdots, x_n) 是来自正态总体 (N(mu, sigma^2)) 的样本，其样本均值和样本方差分别为
egin{align}
ar{x} &= frac{1}{n} sum_{i=1}^n x_i \
s^2 &= frac{1}{n-1} sum_{i=1}^n(x_i - ar{x})^2
end{align}
则有

1. (ar{x}) 与 (s^2) 相互独立
2. (ar{x} sim N(mu, dfrac{sigma^2}{n}))
3. (dfrac{(n-1)s^2}{sigma^2}sim mathcal{X}^2(n-1))

  证明： 记 (x=(x_1,cdots,x_n)^T)，则有
egin{align}
E(X) = egin{bmatrix} mu \ vdots \ mu end{bmatrix}, quad Var(X) = sigma^2 I
end{align}
取一个 (n) 维正交矩阵 (A)，其第一行的每一个元素均为 (1 / sqrt{n})，如
egin{align}
A = egin{bmatrix} dfrac{1}{sqrt{n}} & dfrac{1}{sqrt{n}} & dfrac{1}{sqrt{n}} & cdots & dfrac{1}{sqrt{n}} \
dfrac{1}{sqrt{2cdot 1}} & -dfrac{1}{sqrt{2cdot 1}} & 0 & cdots & 0 \
dfrac{1}{sqrt{3cdot 2}} & dfrac{1}{sqrt{3 cdot 2}} & -dfrac{2}{sqrt{3cdot 2}} & cdots & 0 \
vdots & vdots & vdots & ddots & vdots \
dfrac{1}{sqrt{n(n-1)}} & dfrac{1}{sqrt{n(n-1)}} & dfrac{1}{sqrt{n(n-1)}} & cdots & -dfrac{n-1}{sqrt{n(n-1)}} \
end{bmatrix}
end{align}
令 (Y=AX)，则由多维正态分布的性质知 (Y) 仍服从 (n) 维正态分布，其均值和方差分别为
egin{align}
E(Y) &= A cdot E(X) = egin{bmatrix} sqrt{n} mu \ 0 \ vdots \ 0 end{bmatrix} \
Var(Y) &= Acdot Var(X) cdot A^T = A cdot sigma^2 I cdot A^T = sigma^2 AA^T = sigma^2 I
end{align}
所以 (Y=(y_1,cdots,y_n)^T) 的各个分量相互独立，且都服从正态分布，其方差均为 (sigma^2)，而均值并不完全相同，(y_1) 的均值为 (sqrt{n}mu)，而 (y_2 ,cdots, y_n) 的均值为 (0)。注意到 (ar{x}=dfrac{1}{sqrt{n}}y_1)，这就证明了结论 2.

由于 (sum_{i=1}^n y_i^2 = Y^TY = X^TA^TAX=sum_{i=1}^n x_i^2)，故而
egin{align}
(n-1)cdot s^2 &= sum_{i=1}^n (x_i-ar{x})^2 = sum_{i=1}^n x_i^2 - (sqrt{n}ar{x})^2 \
&=sum_{i=1}^n y_i^2-y_1^2=sum_{i=2}^n y_i^2
end{align}
这就证明了结论 1.

由于 (y_2,cdots, y_n) 独立同分布于 (N(0,sigma^2))，于是
egin{align}
frac{(n-1)s^2}{sigma^2} = sum_{i=2}^n left(frac{y_i}{sigma} ight)^2 sim mathcal{X}^2(n-1)
end{align}
定理证明完成。
 

---

重要推论

 
  推论 1： 在上述定理的记号下，有：
egin{align} label{e1}
t = frac{sqrt{n}(ar{x}-mu)}{s} sim t(n-1)
end{align}
  证明：由上述定理的结论 2 知：
egin{align}
frac{ar{x}-mu}{sigma / sqrt{n}} = N(0,1)
end{align}
然后将 ef{e1} 左端改写为
egin{align}
frac{sqrt{n}(ar{x}-mu)}{s} = dfrac{dfrac{ar{x}-mu}{sigma / sqrt{n}}}{sqrt{dfrac{(n-1)cdot s^2 / sigma^2}{n-1}}}
end{align}
由于分子是标准正态变量，分母的根号里是自由度为 (n-1) 的 (t) 变量除以它的自由度，且分子与分母相互独立，由 (t) 分布定义可知 (t sim t(n-1))，证毕。
 
  推论 2： 设 (x_1,x_2,cdots, x_m) 是来自 (N(mu_1,sigma_1)) 的样本，(y_1,y_2,cdots, y_n) 是来自 (N(mu_2,sigma_2)) 的样本，且此两样本相互独立，记
egin{align}
s_x^2 = dfrac{1}{m-1}sum_{i=1}^m(x_i-ar{x})^2,quad s_y^2 = dfrac{1}{m-1}sum_{i=1}^n(y_i-ar{y})^2
end{align}
其中
egin{align}
ar{x}= frac{1}{m} sum_{i=1}^m x_i, quad ar{y} = frac{1}{n}sum_{i=1}^n y_i
end{align}
则有
egin{align}
F = frac{s_x^2 / sigma_1^2}{s_y^2 / sigma_2^2} sim F(m-1, n-1)
end{align}
特别地，若 (sigma_1^2 = sigma_2^2)，则 (F = s_x^2 / s_y^2 sim F(m-1,n-1)).
 
  证明：由两样本独立可知，(s_x^2) 与 (s_y^2) 相互独立，且
egin{align}
dfrac{(m-1)s_x^2}{sigma_1^2} sim mathcal{X}^2(m-1),quad dfrac{(n-1)s_y^2}{sigma_2^2} sim mathcal{X}^2(n-1)
end{align}
由 (F) 分布定义可知 (F sim F(m-1,n-1)).
 
  推论 3： 在上述记号下，设 (sigma_1^2 = sigma_2^2=sigma^2)，并记
egin{align}
s_w^2 = dfrac{(m-1)s_x^2+(n-1)s_y^2}{m+n-2} = dfrac{sum_{i=1}^m(x_i-ar{x})^2 + sum_{i=1}^n(y_i-ar{y})^2}{m+n-2}
end{align}
则
egin{align}
dfrac{(ar{x}-ar{y} - (mu_1-mu_2))}{s_w sqrt{dfrac{1}{m}+ dfrac{1}{n}}} sim t(m+n-2)
end{align}
  证明：由 (ar{x}sim N(mu_1, sigma^2 / m))，(ar{y}sim N(mu_2, sigma^2 / n))，(ar{x}) 与 (ar{y}) 独立，故有
egin{align}
ar{x}-ar{y} sim N left( mu_1-mu_2, left( dfrac{1}{m}+dfrac{1}{n} ight) sigma^2 ight)
end{align}
所以
egin{align}
dfrac{(ar{x}-ar{y} - (mu_1-mu_2))}{sigma sqrt{dfrac{1}{m}+ dfrac{1}{n}}} sim N(0,1)
end{align}
由上述定理知，(dfrac{(m-1)s_x^2}{sigma^2}sim mathcal{X}^2(m-1))，(dfrac{(n-1)s_y^2}{sigma^2}sim mathcal{X}^2(n-1))，且它们相互独立，则由可加性知
egin{align}
dfrac{(m+n-2)s_w^2}{sigma^2} = dfrac{(m-1)s_x^2+(n-1)s_y^2}{sigma^2} sim mathcal{X}^2(m+n-2)
end{align}
由于 (ar{x}-ar{y}) 与 (s_w^2) 相互独立，根据 (t) 分布的定义即可得到结论。