• "模式识别与机器学习"读书笔记——2.1 Binary Variables


    从最简单的变量谈起——一位二进制变量(只有0/1两种值)。

    典型例子翻硬币,假设人头朝上的概率为u,作为这个模型的参数,则其概率分布为:

    这个分布也称Bernoullo distribution,期望方差为:

    如果有一组观察数据D={x1,x2,...,xn},则这组观察数据出现的概率为:

    选择u的依据就是,让上面这个概率最大化,方法还是那个取对数,再求导令其等于0,得到p最大时:

    所以如果测试数据中人头出现了m次,则

    此外,当给定一个u时,我们还可以求出关于m的概率分布,就是求出人头出现0次、1次、2次……N次得概率分别是多少。
    要点是需要normalize以下,保证归一性。

    人头出现m次得概率为:

    其中

    2.1.1 The beta distribution

    用前面那个方法会出现over=fitted问题,即如果三次银币都正面朝上,用上述方法判断,下次硬币一定也朝上,这不符合实际。

    采用的办法时引入prior distribution,相当于人为的调整了。

    这里引入的prior distribution是beta distribution:

    其中叫gamma function,是在上一章作业中出现的。

    注意这个beta distribution的形式与那个m的分布式一样的,都是,这叫做共轭性(conjugacy),这样prior,posterior,liklihood的形式就都一样了,无论是计算还是设想实际意义都更简单了。

    修正后的分布的求法就是把prior与上一节那个m分布式相乘,由于他们是共轭的,其实就是指数的叠加或图形的叠加,最终形式是:

    知道了u的概率后,如果想预测下一次翻硬币哪面朝上,方法为:

    用现有结论可以推出:

  • 相关阅读:
    I NEED A OFFER!
    水题 Codeforces Round #303 (Div. 2) A. Toy Cars
    模拟 HDOJ 5099 Comparison of Android versions
    模拟 HDOJ 5095 Linearization of the kernel functions in SVM
    贪心 HDOJ 5090 Game with Pearls
    Kruskal HDOJ 1863 畅通工程
    Kruskal HDOJ 1233 还是畅通工程
    并查集 HDOJ 1232 畅通工程
    DFS/并查集 Codeforces Round #286 (Div. 2) B
    水题 Codeforces Round #286 (Div. 2) A Mr. Kitayuta's Gift
  • 原文地址:https://www.cnblogs.com/plwang1990/p/2104112.html
Copyright © 2020-2023  润新知