一、曲奇饼问题
假设有两个碗，碗1中有10个曲奇饼和20个香草饼，碗2中有10个曲奇饼和10个香草饼。现在你闭上眼睛拿到一个曲奇饼，问这个曲奇饼是从碗1中拿到的概率是多少？即P(碗1|曲奇) = ?。解决这种问题就需要贝叶斯定理。
二、贝叶斯定理
1、联合概率
联合概率指的是两个事件同时发生的概率 P(AB)。假设王村90%的人都姓王，事件A为某人来自王村，事件B为某人姓王，显然有P(B|A) > P(B)。则某人来自王村并且姓王的概率为
$$P(AB) = P(A)*P(B|A)$$
2、贝叶斯定理(记住过程以后推导就可以了)
$$P(AB)=P(BA)$$
$$P(AB)=P(A)*P(B|A)$$
$$P(BA)=P(B)*P(A|B)$$
$$P(B)P(A|B)=P(A)P(B|A)$$
$$P(A|B)=frac{P(A)P(B|A)}{P(B)}$$
$$P(B_{1}|V)=frac{P(B_{1})P(V|B_{1})}{P(V)}$$
因此对于曲奇饼问题，最后的结果为
$$P(B_{1}|V)=frac{(1/2)*(1/3)}{5/12}= 2/5$$
3、贝叶斯定理的另一种解释
$$P(H|D)=frac{P(H)P(D|H)}{P(D)}$$
- $P(H)$为先验概率，即在得到新数据前某一假设的概率。
- $P(H|D)$为后验概率，即在看到新数据后，我们要计算的该假设概率
- $P(D|H)$是该假设下得到这一数据的概率，称为似然度
- $P(D)$ 是在任何假设下得到这一数据的概率，称为标准化常量。因此一般也用全概率公式来计算
三、Monty Hall难题
1、问题描述
- 蒙蒂向你展示三个关闭的大门A、B、C。有一辆汽车藏在了一个大门之后。你猜中了车藏在了哪个大门后，你就能拿走汽车
- 你先选一个门，记为A
- 然后蒙蒂为了让你赢得汽车的机会大一些，他会在另外两个门B或C中，关闭一个没有汽车的门。我们将蒙蒂打开的大门假设为B
- 最后到你了，在蒙蒂打开了门B后，问你是坚持开A门，还是打开C门，make your choice.
对于Monty Hall Problem，有些人会错误的认为在蒙蒂开了一扇门后，剩下两个选择一个门后有车的概率为$1/2$，因为车不在A后就在C后。这种想法错误的原因在于
事件B或C打开一个没有汽车的门 ≠ 事件选定一个门打开，并且这个门后没有车
（设A、B、C为事件 车在对应门后。$P(A)=1/3$，所以车在B或C的概率为$2/3$。蒙蒂开了一个没车的门，那么我选C并且车在C后的概率仍然为$2/3$。所以经过思考过后，即使不使用贝叶斯公公式，我们也应该选择门C。）
2、贝叶斯定理解决Monty Hall Problem
假设事件D为蒙蒂选了B门，并且B门后没车。则 P(D) = 1/2*1 = 1/2。
对于P(D)更详细的分析求法
- A有车，然后B、C门选一个无车的门打开为事件D1。则P(D1)=1/3*1/2 = 1/6
- A无车，然后B、C门选一个无车的门打开为事件D2。则P(D2)=2/3 * 1/2 * 1/2 + 2/3 * 1/2 * 1/2 = 1/3
- 则P(D) = P(D1) + P(D2) = 1/2
| 事件 | 先验概率P(H) | 似然度P(D|H) | 标准化常量P(D) | 后验概率 P(H|D) = P(H) * P(D|H)/P(D) |
| A | 1/3 | 1/2 | 1/2 | 1/3 |
| B | 1/3 | 0 | 1/2 | 0 |
| C | 1/3 | 1 | 1/2 | 2/3 |
所以应该选门C打开。
参考《贝叶斯思维:统计建模的Python学习方法》