贝叶斯决策理论

什么是贝叶斯决策理论?

学过概率论的人都知道大名鼎鼎的贝叶斯公式:

[P(B|A) = frac {P(A|B)P(B)}{P(A)} $$. 贝叶斯决策理论就是以贝叶斯公式为基础的决策理论, 以最似然解为解. 直白粗暴地说, 哪个有把握就选哪个. 这里的把握就是后验概率. 给定样本集$D$, 所有的样本$X$都属于$c$个互斥的类别, 用$w_1, w_2, dots, w_c$表示. 现从$D$中随机取出一个样本$x$, 判断它所属类别. 根据贝叶斯公式可以将样本$x$属于第$k$类$w_k$的后验概率表示为: ]

P(w_k|x) = frac{P(x|w_k)P(w_k)}{P(x)}

[若$P(w_k|x)$是所有类别后验概率中最大的, 即最有把握的, 最大贝叶斯决策方法就以$w_k$作为$x$的类别: $$k = max_k(P(w_k|x))]

(P(x|w_k), P(w_k), P(x))这三个概率都是可以通过样本(D)计算出来的. 其中, 起作用的是前两者, (P(x))没有必要计算出来. 因为作出决定时需要的是后验概率的相对大小, 而不是绝对大小. (P(x))与类别无关, 对所有的类别来说都一样, 比较大小时可以约掉. 所以最后的决策函数可以写为:$$k = max_k(P(x|w_k)P(w_k))$$.

直觉后面的理性

在看到哪个有把握就选哪个 时, 你可能会有一种在听废话的感觉. 没错, 从生活的角度来讲, 你是对的. 我们平时做出的很大一部分决定都是选自己有把握的, 这好像已经成为我们的本能. 但是你的把握是怎么计算出来的呢? 通过有意识或无意识的贝叶斯计算. 比如让你预测一下明天的太阳是从东边升起还是从西边升起(前提是明天不是2012.12.24, 你知道太阳肯定会升起). 你肯定想都不用想就回答东边, 因为这是常识. 它背后的贝叶斯式推理为:
样本集: 往常的太阳升起的每一天, 太阳都是从东边升起的.

[P(太阳从东边升起|太阳升起) = frac {P(太阳升起|太阳从东边升起)P(太阳从东边升起)}{P(太阳升起)} ]

[= frac {1 * 1}{1} = 1. ]

也就是说, 根据以往太阳升起的情况, 你有百分之百的把握断定明天的太阳是从东边升起的. 再看看你对太阳从西边升起的把握.

[P(太阳从西边升起|太阳升起) = frac {P(太阳升起|太阳从西边升起)P(太阳从西边升起)}{P(太阳升起)} ]

[ = frac {1 * 0}{1} = 0. ]

也就是说, 你认为太阳不可能从西边升起, 除非太阳打西边出来, 呵呵.

风险最小化原则

其实上面的那些是为了方便理解的简化说法. 哪个有把握就选哪个, 更general的说法是哪个风险小就选哪个. 那么, 风险是什么呢? 风险是损失的期望值. 损失又是什么呢? 损失是做出某个判断, 等真相大白后为自己的判断要付出的代价.假如你是一个股民, 现在要决定是否买某支股票, 你会首先去判断这支股票以后是涨还是跌. 判断涨就买入, 判断跌就不买入. 假如你判断它是跌的, 然后没有买, 但后来这支股票却意外的涨了. 这时你没有买, 所以你少赚了, 受到了隐性损失. 假如果买入这支涨股可以产生收入100,000, 那么你此时的损失就是100,000.
正式的描述一下: (alpha_k)代表判断样本(x)属于类型(w_k), (lambda(alpha_k|w_j))代表判断(x)属于类型(w_k), 但实际上它却属于类型(w_j)时要付出的代价, 即损失, 简写为(lambda_{kj}). 做出决定(alpha_k)时你暂时不知道(x)到底属于哪一类, 对你来说, 最理性的选择是预期损失最小的那个. 预期损失就是损失的期望值, 即风险值. 所以, 对样本(x)做出某个判断(alpha_k)的风险可以表示为:

[R(alpha_k|x) = sum lambda_{kj}P(w_j|x) ]

再回到买股票的例子,分别用(w_1, w_0)代表涨股与跌股, 那么(alpha_1, alpha_0)分别代表你判断股票(x)是涨股/跌股.

假设

• 买了涨股的损失为(lambda_{11} = -10,000). (负损失代表收入)
• 买了跌股的损失为(lambda_{10}=20,000).
• 没买涨股的损失为(lambda_{01}= 10,000).
• 没买跌股的损失为(lambda_{00} = -20,000).
• 这支股票上涨的概率为(P(w_1|x) = 0.1),下跌的概率为(P(w_0|x) = 0.9)

那么,

• 判断(x)为涨股并买入的风险为:(R(alpha_1|x) = lambda_{11} P(w_1|x) + lambda_{10} P(w_0|x) = -10,000 * 0.1 + 20,000 * 0.9 = 17,000)
• 判断(x)为跌股不买入的风险为:(R(alpha_2|x) = lambda_{01} P(w_1|x) + lambda_{00} P(w_0|x) = 10,000 * 0.1 - 20,000 * 0.9 = -17,000)
• (R(alpha_2|x) < R(alpha_1|x)), 所以, 此时风险最小化的选择是判断(x)为跌股不买入.

总结一下, 贝叶斯决策理论, 是风险最小化的决策理论. (严格的说, 是经验风险最小化因为(P(w_k|x))是一个估计出来的经验值).