贝叶斯里面的参数原理
最大似然: 即最符合观测数据的最有优势,即p(D|h)最大
奥卡姆剃刀:即越常见的越有可能发生,即p(h) 表示的是先验概率
最大似然:
当我们投掷一枚硬币,观测到的是正面,那么我们猜测投掷正面的概率为1,即最大似然值的概率是最大的
奥卡姆剃刀:
如果平面上有N个点,我们使用n-1阶的函数可以拟合出任何一个点,但是越高阶的曲线越不常见,因此p(N-1) << p(1) 和p(2) 一阶和二阶的概率
实例:垃圾分类的实例
p(h+|D) = p(D|h+) * p(h+) / p(D) h+ 表示的是垃圾邮件, D表示的是一封邮件里面的词
这个公式表示的含义: p(h+) 表示的是垃圾邮件的概率, p(D|h+) 表示是邮件里面的词与垃圾邮件的相似度,这里使用的可以是词频化的向量也可以tf-dif的向量
相似度的比较的话,这里使用的余弦定理
p(d1, d2, d3...|h+) = p(d1|h+) * p(d2|d1, h+)...
为了方便计算我们使用朴素贝叶斯来进行计算
p(d1, d2, d3..|h+) = p(d1|h+) * p(d2|h+) * p(d3|h+) .... p(d3|h+) 表示这个词在垃圾邮件出现的概率, 我们可以使用相似度来进行计算