参数估计回顾

基本概念：总体，样本，统计量

总体：试验的全部可能值,使用X$X$表示
样本：通过一定规则（放回抽样，不放回抽样）抽取得到一个样本或者一组样本。
一个个抽取得到的每一个特体也成为一个样本；一次抽取n个得到一组样本，n称为样本容量。
样本也看做是一个 随机向量 表示(X1,X2,X3,...,Xn)$(X_1,X_2,X_3,...,X_n)$。

1. 在抽样实施之前，把样本看做随机变量，便于研究；
2. 在抽样实施之后，得到一组随机变量的观测值，这时样本是一组数(x1,x2,...,xn)$(x_1,x_2,...,x_n)$。

样本既是一个随机向量，又是一组数。

总体X是具有分布函数F的随机变量，(X1,X2,X3,...,Xn)$(X_1,X_2,X_3,...,X_n)$ 是具有分布函数F的独立同分布的随机变量。
样本(随机向量)(X1,X2,X3,...,Xn)$(X_1,X_2,X_3,...,X_n)$的分布函数F(x1,x2,...,xn)$F(x_1,x_2,...,x_n)$为

F(x1,x2,...,xn)=∏i=1nF(xi)$$F(x_1,x_2,...,x_n)=\prod _{i=1}^{n}F(x_i)$$

如果X$X$的概率密度函数为f$f$，则样本(随机向量)(X1,X2,X3,...,Xn)$(X_1,X_2,X_3,...,X_n)$的概率密度函数为

f(x1,x2,...,xn)=∏i=1nf(xi)$$f(x_1,x_2,...,x_n)=\prod _{i=1}^{n}f(x_i)$$

统计量
刻画总体某些参数，统计量是样本的函数。
比如知道总体是正态分布但是μ$\mu$,σ$\sigma$未知，这时我们从总体中抽取一组样本，对样本分析，得到一个适当的统计量μ^$\hat{\mu }$,σ^$\hat{\sigma }$估计总体的μ$\mu$,σ$\sigma$。
为什么能够使用统计量近似真实的未知量？因为有大数定律。
通常情况，统计量使用θ^(θ1,θ2,...,θn)$\hat{\theta }({\theta }_1,{\theta }_2,...,{\theta }_n)$表示有n个未知参量。如上述μ^$\hat{\mu }$,σ^$\hat{\sigma }$，令θ1=μ^${\theta }_1=\hat{\mu }$,θ2=σ^${\theta }_2=\hat{\sigma }$.
统计量是一个确定的数。
统计量是一个随机变量，因为样本具有随机性，所以统计量有概率分布。比如(随机向量)(X1,X2,X3,...,Xn)$(X_1,X_2,X_3,...,X_n)$是总体X∼N(μ,σ2)$X\sim N(\mu ,{\sigma }^2)$的一个样本，则统计量x¯∼N(μ,σ2)$\overline{x}\sim N(\mu ,{\sigma }^2)$。

极大似然估计

参数估计包括了矩估计和极大似然估计，这里只介绍极大似然估计。
样本是总体的一个随机抽样，每个样本是独立的，与总体同分布的。
对于总体X，如果随机变量是连续的，概率密度函数为f(x;θ)$f(x;\theta )$,对于其样本(x1,x2,x3,...,xn$x_1,x_2,x_3,...,x_n$),令L作为θ$\theta$的函数就是似然函数，

L(X;θ)=∏inf(xi;θ)$$L(X;\theta )=\prod _i^{n}f(x_i;\theta )$$

通常情况下，取对数

ln(L(X;θ))=ln(∏inf(xi;θ))=∑inlnf(xi;θ)$$ln(L(X;\theta ))=ln(\prod _i^{n}f(x_i;\theta ))=\sum _i^{n}lnf(x_i;\theta )$$

要求上式的最值，也就是求多元函数极值的问题。
可以用泰勒展开再根据极值定理求解，或者将其转为矩阵形式，用正定二次型来判断。
步骤：

例子一

X∼N(μ,σ2)$X\sim N(\mu ,{\sigma }^2)$,求μ$\mu$,σ2${\sigma }^2$的极大似然估计。
分析：
总体服从μ$\mu$,σ2${\sigma }^2$的连续分布，可以写出总体的概率密度函数

f(x)=12π−−√σe−(x−μ)22σ2$$f(x)=\frac{1}{\sqrt{2\pi }\sigma }{e}^{-\frac{(x-\mu {)}^2}{2{\sigma }^2}}$$

样本(x1,x2,x3,...,xn$x_1,x_2,x_3,...,x_n$)的概率密度函数为

f(xi)=12π−−√σe−(xi−μ)22σ2$$f(x_i)=\frac{1}{\sqrt{2\pi }\sigma }{e}^{-\frac{(x_i-\mu {)}^2}{2{\sigma }^2}}$$

用θ1${\theta }_1$,θ2${\theta }_2$代替μ$\mu$,σ$\sigma$，写出似然函数

L(X;θ1,θ2)=∏inf(xi)=(2πθ22)−n2e−12θ22∑ni(xi−θ1)2$$L(X;{\theta }_1,{\theta }_2)=\prod _i^{n}f(x_i)=(2\pi {{\theta }_2}^2{)}^{-\frac{n}{2}}{e}^{-\frac{1}{2{{\theta }_2}^2}\sum _i^n(x_i-{\theta }_1{)}^2}$$

取对数

ln(L(X;θ1,θ2))=−n2ln((2πθ22))−12θ22∑in(xi−θ1)2$$ln(L(X;{\theta }_1,{\theta }_2))=-\frac{n}{2}ln((2\pi {{\theta }_2}^2))-\frac{1}{2{{\theta }_2}^2}\sum _i^n(x_i-{\theta }_1{)}^2$$

使用极值定理求参数值,求导并令其导数值为0.

∂ln(L(X;θ1,θ2))∂θ1=1θ22∑in(xi−θ1)=0$$\frac{\mathrm{\partial }ln(L(X;{\theta }_1,{\theta }_2))}{\mathrm{\partial }{\theta }_1}=\frac{1}{{{\theta }_2}^2}\sum _i^n(x_i-{\theta }_1)=0$$

x1+x2+x3+...+xn−nθ1=0$$x_1+x_2+x_3+...+x_n-n{\theta }_1=0$$

θ1=x¯$${\theta }_1=\overline{x}$$

∂ln(L(X;θ1,θ2))∂θ2=−nθ2+1θ23∑in(xi−θ1)2=0$$\frac{\mathrm{\partial }ln(L(X;{\theta }_1,{\theta }_2))}{\mathrm{\partial }{\theta }_2}=-\frac{n}{{\theta }_2}+\frac{1}{{{\theta }_2}^3}\sum _i^n(x_i-{\theta }_1{)}^2=0$$

θ22=1n∑in(xi−θ1)2$${{\theta }_2}^2=\frac{1}{n}\sum _i^n(x_i-{\theta }_1{)}^2$$

代入θ1=x¯${\theta }_1=\overline{x}$得

θ22=1n∑in(xi−x¯)2$${{\theta }_2}^2=\frac{1}{n}\sum _i^n(x_i-\overline{x}{)}^2$$

例子二

例子三

先写出似然函数



求极值点并验证是否为最值。

---

参考：

概率论与数理统计 https://www.bilibili.com/video/av17582696/
最大概似法 https://www.youtube.com/watch?v=t_KUThpWWcY
StatQuest: Maximum Likelihood: https://www.youtube.com/watch?v=XepXtl9YKwc
StatQuest: Maximum Likelihood Example https://www.youtube.com/watch?v=cDlNsHUBmw4