pattern recognition and machine learning 2.2 Multinomial Variables

pattern recognition and machine learning 2.2 Multinomial Variables

（源自：http://isip.buaa.edu.cn/lichen/?p=376）

beta分布用于对二值随机变量建模，比如抛硬币实验。但如果随机变量可以取多个互斥的值呢？比如可能有 $K$ 种选择。对于某个可以取 $K$ 种互斥状态的随机变量我们可以用一个 $k$ 维向量 $mathbf{x}$ 来表示，其中一个元素 $x_k$ 取1，剩下的位置取0。例如，如果我们有一个变量可以有 $K=6$ 种状态，一个观察值恰好对应 $x_3=1$ ，那么 $mathbf{x}$ 可以表示成

$mathbf{x}=(0,0,1,0,0,0)^Tquadquad(2.25)$

这种向量满足 $sum_{k=1}^K x_k=1$ 。如果我们记 $x_k=1$ 的概率为参数 $mu_k$ ，那么 $mathbf{x}$ 的分布就是：a
$p(mathbf{x} lvert boldsymbol{mu})=prod_{k=1}^K mu_{k}^{x_k}qquad(2.26)$
其中的 $boldsymbol{mu}=(mu_1,cdots,mu_K)^T$ ，而参数 $mu_k$ 满足 $mu_k geq 0$ 且 $sum_{k=0}^K mu_k = 1$ ，因为它们代表概率。(2.26)的分布可以看成伯努利分布的一个多值泛化。可以看到这个分布式满足概率的归一化的：

$sum_mathbf{x} p(mathbf{x} lvert boldsymbol{mu} )=sum_{k=1}^K mu_k=1qquad(2.27)$

同时，
$mathbb{E}[mathbf{x} lvert boldsymbol{mu}]=sum_mathbf{x}p(mathbf{x} lvert boldsymbol{mu})mathbf{x}=(mu_1,cdots,mu_K)^T=boldsymbol{mu}qquad(2.28)$
考虑一个包含 $N$ 个独立观察值 $mathbf{x}_1,cdots,mathbf{x}_N$ 的数据集 $mathcal{D}$ 相应的似然函数：
$p(mathcal{D} lvert boldsymbol{mu})=prod_{n=1}^Nprod_{k=1}^{K}mu_k^{x_{nk}}=prod_{k=1}^Kmu_k^{(sum_n x_{nk})}=prod_{k=1}^{K}mu_k^{m_k}qquad(2.29)$
可以看出似然函数和数量 $K$ 有关：
$m_k=sum_{n} x_{nk} qquad(2.30)$
实际上是表示观察数据中 $x_k$ 为1的观察值的个数。这在概率论中称为充分统计量。

为了找出boldsymbol{mu}的最大似然估计值，我们需要对 $lnp(mathcal{D} lvert boldsymbol{mu})$ 求极大值，并满足所有mu_k之和为1这个约束。引入拉朗格日乘子lambda，并极大化：
$sum_{k=1}^K m_k ln mu_k + lambda(sum_{k=1}^K mu_k - 1)qquad(2.31)$
对(2.31)式以 $mu_k$ 为自变量求导并令其导数为0，可得：

$mu_k=-m_k/lambdaqquad(2.32)$

把(2.32)带入约束 $sum_k mu_k=1$ 得到 $lambda=-N$ ，这样我们得到最大似然的解：
$mu_k^{ML}=frac{m_k}{N}qquad(2.33)$
这个实际上式N个观察值中那些 $x_k=1$ 的实例所占百分比。

我们考虑给出 $mu$ 和N个数据观察值时， $m_1,cdots,m_K$ 的联合概率分布。从（2.29）我们得到：
$Mult(m_1,cdots,m_K lvert boldsymbol{mu},N)=begin{pmatrix}N\m_1,cdots,m_K end{pmatrix} prod_{k=1}^Kmu_k^{m_k}qquad(2.34)$
这就是多项式分布，归一化系数是把 $N$ 个对象划分成 $K$ 组大小分别为 $m_1,cdots,m_K$ 的可能划分总数。即：
$begin{pmatrix}N\m_1,cdots,m_K end{pmatrix} =frac{N!}{m_1!m_2!cdots m_K!}qquad(2.35)$
注意到变量m_k需要满足：
$sum_{k=1}^K m_k=Nqquad(2.36)$

**************************************************************
我喜欢程序员，他们单纯、固执、容易体会到成就感；面对困难，能够不休不眠；面对压力，能够迎接挑战。他们也会感到困惑与傍徨，但每个程序员的心中都有一个比尔盖茨或是乔布斯的梦想，用智慧把属于自己的事业开创。其实我是一个程序员[=.=]
相关阅读:
修改用户密码，权限
 域渗透
 跨域
 目录
 C中的extern和static
XSS进阶
 SQL injection
双重指针学习笔记
 文件上传学习笔记
 Hello Python
原文地址：https://www.cnblogs.com/kevinGaoblog/p/2529028.html