贝叶斯(约1701-1761) Thomas Bayes，英国数学家
1762) 贝叶斯方法源于他生前为解决一个 逆概 问题写的一篇文章。
贝叶斯要解决的问题
正向概率：假设袋子里面有N个白球，M个黑球，你伸手进去摸一把，摸出黑球的概率是多大
逆向概率：如果我们事先并不知道袋子里面黑白球的比例，而是闭着眼睛 摸出一个(或好几个)球，观察这些取出来的球的颜色之后，那么我们可以就此对袋子里面的黑白球的比例 作出什么样的推测。
Why贝叶斯?
现实世界本身就是不确定的，人类的观察能力是有局限性的
我们日常所观察到的只是事物表面上的结果，因此我们需要 提供一个猜测
逆概问题实例
一所学校中，男生:60% 女生:40%
男生总是穿长裤，女生则一半穿长裤一半穿裙子
正向概率：随机选取一个学生，他(她)穿长裤的概率和穿裙子的概率是多大。
逆向概率：迎面走来一个穿长裤的学生，你能够推断出他(她)是女生的概率是多大吗?
推导
假设学校里面人的总数是 U 个 穿长裤的(男生): $ U * P(Boy) * P(Pants|Boy) $
P(Boy) 是男生的概率 = 60%
P(Pants|Boy) 是条件概率，即在 Boy 这个条件下穿长裤的概率是多大，这里是 100% ，因为所有男生都穿长裤
穿长裤的(女生): $ U * P(Girl) * P(Pants|Girl) $
求解：穿长裤的人里面有多少女生
穿长裤总数:U * P(Boy) * P(Pants|Boy) + U * P(Girl) * P(Pants|Girl)
P(Girl|Pants) = U * P(Girl) * P(Pants|Girl)/穿长裤总数
U * P(Girl) * P(Pants|Girl) / [U * P(Boy) * P(Pants|Boy) + U * P(Girl) * P(Pants|Girl)]
化简:
P(Girl|Pants) = P(Girl) * P(Pants|Girl) / [P(Boy) * P(Pants|Boy) + P(Girl) * P(Pants|Girl)]
分母其实就是 P(Pants) 穿裤子的总比例
分子其实就是 P(Pants, Girl) 女生穿长裤的比例
贝叶斯公式
$ P(A | B ) = frac{ P(B|A) P(A) }{P(B)} $
把难求的值转化为好求的值。
NLP 中的贝叶斯使用
拼写纠正实例：
问题是我们看到用户输入了一个不在字典中的单词（比如 tha），我们需要去猜测 他到底真正想输入的单词是什么
求：P(我们猜测他想输入的单词 | 他实际输入的单词)
用户实际输入的单词记为 D ( D 代表 Data ，即观测数据，语料库)
猜测1:P(h1 | D)，猜测2:P(h2 | D)，猜测3:P(h1 | D) 等
统一记为:P(h | D)
P(h | D) = P(h) * P(D | h) / P(D)
先验概率，单词出现的次数。
比如用户输入tlp ，那到底是 top 还是 tip ?这个时候，当最大似然不 能作出决定性的判断时，先验概率就可以插手进来给出指示——“既 然你无法决定，那么我告诉你，一般来说 top 出现的程度要高许多， 所以更可能他想打的是 top。
对于不同的具体猜测 h1 h2 h3 .. ，P(D) 都是一样的，所以在比较 P(h1| D) 和 P(h2 | D) 的时候我们可以忽略这个常数
P(h | D) ∝ P(h) * P(D | h)
对于给定观测数据，一个猜测是好是坏，取决于“这个猜测本身独 立的可能性大小(先验概率，Prior )”和“这个猜测生成我们观测到的数据的可能性大小。
模型比较理论
最大似然：最符合观测数据的(即 P(D | h) 最大的)最有优势
掷一个硬币，观察到的是“正”，根据最大似然估计的精神，我们应该 猜测这枚硬币掷出“正”的概率是 1，因为这个才是能最大化 P(D | h) 的 那个猜测
奥卡姆剃刀：P(h) 较大的模型有较大的优势
如果平面上有 N 个点，近似构成一条直线，但绝不精确地位于一条直线 上。这时我们既可以用直线来拟合(模型1)，也可以用二阶多项式(模 型2)拟合，也可以用三阶多项式(模型3)，特别地，用 N-1 阶多项式 便能够保证肯定能完美通过 N 个数据点。那么，这些可能的模型之中到 底哪个是最靠谱的呢?
奥卡姆剃刀:越是高阶的多项式越是不常见
垃圾邮件过滤问题
https://blog.csdn.net/weixin_44010678/article/details/86774195
问题:给定一封邮件，判定它是否属于垃圾邮件
D 来表示这封邮件，注意 D 由 N 个单词组成。我们用 h+ 来表示垃圾邮件，h- 表示正常邮件
P(h+|D) = P(h+) * P(D|h+) / P(D) 垃圾邮件的概率
P(h- |D) = P(h- ) * P(D|h- ) / P(D) 正常邮件的概率
先验概率:P(h+) 和 P(h-) 这两个先验概率都是很容易求出来的，只需要计算一个邮件库里面垃圾邮件和正常邮件的比例就行了。
P(D|h+)：当它是垃圾邮件时，由这些词组成。
D 里面含有 N 个单词 d1, d2, d3
P(D|h+) = P(d1,d2,..,dn|h+) P(d1,d2,..,dn|h+) 就是说在垃圾邮件当中出现跟我们目前这封邮件一模 一样的一封邮件的概率是多大
P(d1,d2,..,dn|h+) 扩展为: P(d1|h+) * P(d2|d1, h+) * P(d3|d2,d1, h+) * ..
将原始贝叶斯问题，转化成 朴素贝叶斯问题。
朴素贝叶斯 相当于把贝叶斯模型做了一个简化，假设特征之间是独立， 互不影响。
假设 di 与 di-1 是完全条件无关的
上式简化为 P(d1|h+) * P(d2|h+) * P(d3|h+) * ..
只要统计 di 这个单词在垃圾邮 件中出现的频率即可
基于贝叶斯的拼写检查器
import pandas as pd
import numpy as np
import re,collections
fr=open('data set.txt').read()
def words(text): return re.findall('[a-z]+',text.lower())#把文章中所有的单词取出来，转化成小写，并去除单词中的特殊符号
def train(features):
model = collections.defaultdict(lambda: 1) #所训练的数据集中有可能有包含不到的词，而这些词也是正确的，所以设置lambda：1，让每个词出现的次数默认为1
for f in features:
model[f] += 1
return model
NWORDS = train(words(fr))
alphabet = 'abcdefghijklmnopqrstuvwxyz'
def edits1(word):
n = len(word)
return set([word[0:i]+word[i+1:] for i in range(n)] + # 少一个字母的情况
[word[0:i]+word[i+1]+word[i]+word[i+2:] for i in range(n-1)] + # 字母调换的情况
[word[0:i]+c+word[i+1:] for i in range(n) for c in alphabet] + # 修改字母情况
[word[0:i]+c+word[i:] for i in range(n+1) for c in alphabet]) # 插入字母的情况
def known_edits2(word):
return set(e2 for e1 in edits1(word) for e2 in edits1(e1) if e2 in NWORDS)
def known(words): return set(w for w in words if w in NWORDS)
def correct(word):
candidates = known([word]) or known(edits1(word)) or known_edits2(word) or [word]
return max(candidates, key=lambda w: NWORDS[w])