机器学习第一次作业

机器学习第一次作业

1.试设计一个不同于高斯核和Epanechnikov核的核函数。

2.如果 $mathrm{N}$ 个独立的观测样本 $x_{1}, x_{2}, x_{3}, ldots, x_{N}$ 服从概率密度

　　　　$mathrm{p}(mathrm{x} mid hat{ heta})=frac{1}{sqrt{(2 pi)^{mathrm{p}} mathrm{det}(Sigma)}} cdot exp left[-frac{1}{2}(mathrm{x}-mu)^{mathrm{T}} {sum}^{-1}(mathrm{x}-mu) ight]$，

  试估计$ heta={mu, sum }$ 。

解：

1)

　　　　$mathrm{K}(mathrm{X})=exp left(-frac{left(left|mathrm{X}-mathrm{X}_{mathrm{k}} ight| ight)^{2}}{2 sigma^{2}} ight)$　　　　

　　其中 $sigma$ 定义学习样本间相似性的特征长度尺度。

2)

　　令：

　　　　$L( heta)=prod limits_{i=1}^{N} Pleft(x_{i} mid heta ight)=left(frac{1}{sqrt{(2 pi)^{p} operatorname{det}(Sigma)}} ight)^{N} exp left[-frac{1}{2} sum limits _{i=1}^{N}left(x_{i}-hat{mu} ight)^{ op} Sigma^{-1}left(x_{i}-hat{mu} ight) ight]$

 　　则：

　　　　$operatorname{ln} L( heta)=-frac{P N}{2} ln 2 pi-frac{N}{2} ln operatorname{det}(hat{Sigma})-frac{1}{2} sumlimits _{i=1}^{N}left(x_{i}-hat{mu} ight)^{ op} Sigma^{-1}left(x_{i}-hat{mu} ight)$

　　由 $frac{partial operatorname{ln} L( heta)}{partial hat{mu}}=0$ 得：

 　　　　$sum limits _{i=1}^{N} Sigma^{-1}left(x_{i}-hat{mu} ight)=0$

　　由 $frac{partial operatorname{ln} L( heta)}{partial hat{Sigma}}=0$ 得：

　　　　$sum limits _{i=1}^{N}left(x_{i}-hat{mu} ight)left(x_{i}-hat{mu} ight)^{T} Sigma^{-2}-frac{1}{2} sum limits_{i=1}^{N} Sigma^{-1}=0$

　　解得：

　　　　$left{egin{array}{l}hat{mu }=frac{1}{N} sum limits _{i=1}^{N} x_{i} \hat{Sigma}=frac{1}{N} sum limits_{i=1}^{N}left(x_{i}-hat{mu} ight)left(x_{i}-mu ight)^{ op}end{array} ight.$