从最简单的变量谈起——一位二进制变量(只有0/1两种值)。
典型例子翻硬币,假设人头朝上的概率为u,作为这个模型的参数,则其概率分布为:
这个分布也称Bernoullo distribution,期望方差为:
如果有一组观察数据D={x1,x2,...,xn},则这组观察数据出现的概率为:
选择u的依据就是,让上面这个概率最大化,方法还是那个取对数,再求导令其等于0,得到p最大时:
所以如果测试数据中人头出现了m次,则
此外,当给定一个u时,我们还可以求出关于m的概率分布,就是求出人头出现0次、1次、2次……N次得概率分别是多少。
要点是需要normalize以下,保证归一性。
人头出现m次得概率为:
其中
2.1.1 The beta distribution
用前面那个方法会出现over=fitted问题,即如果三次银币都正面朝上,用上述方法判断,下次硬币一定也朝上,这不符合实际。
采用的办法时引入prior distribution,相当于人为的调整了。
这里引入的prior distribution是beta distribution:
其中叫gamma function,是在上一章作业中出现的。
注意这个beta distribution的形式与那个m的分布式一样的,都是,这叫做共轭性(conjugacy),这样prior,posterior,liklihood的形式就都一样了,无论是计算还是设想实际意义都更简单了。
修正后的分布的求法就是把prior与上一节那个m分布式相乘,由于他们是共轭的,其实就是指数的叠加或图形的叠加,最终形式是:
知道了u的概率后,如果想预测下一次翻硬币哪面朝上,方法为:
用现有结论可以推出: