贝叶斯-使用贝叶斯实现拼写检查器

基于贝叶斯实现拼写检查器

• 简单，容易，效果好
• 贝叶斯是一种常见的分类算法，通过先验概率和估计实现后验概率的计算
• 难点主要是，在单词错误的情况下，估计正确的单词的概率
• 难点是通过键盘距离可以评估出在输入正确的情况下，输错的概率分布

import re, collections


# 求解 argmax P(c|w) -> argmax P(w|c)P(c)/P(w)
# P(c) 文章中出现一个正确拼写单词的概率，也就是说， 在英文文章中，c出现的概率有多大
# P(w|c) 在用户输入c的情况下，敲成w的概率，因为这个是用户多大概率把c敲错成w
# argmax 用来枚举所有可能的c并且选取概率最大的。


# 把语料中的单词全部转换为小写，然后去掉特殊字符
def words(text): return re.findall('[a-z]+', text.lower())

def train(features):
    model = collections.defaultdict(lambda: 1)
    for f in features:
        model[f] += 1

    return model

NWORDS = train(words(open('big.txt').read()))
# print(len(NWORDS))

# 要是遇到没有没遇见过的新词，假设一个单词拼写完全正确，但是没有出现在训练集中，设置为1，而不是0，如果是0后面乘积全部是0
# print(NWORDS.keys())
print('-----------------------')
alphabet = 'abcdefghijklmnopqrstuvwxyz'

# 编辑错误的概率，编辑距离，两个词之间的编辑距离定义为使用了几次插入，删除，交换，替换，把一个字母变成另外一个词

def editsl(word):
    n = len(word)
    return set([word[0:i] + word[i+1:] for i in range(n)] +           # 删除
               [word[0:i] + word[i+1] + word[i] + word[i+2:] for i in range(n-1)] +  # 转换
               [word[0:i] + c +  word[i+1:] for i in range(n) for c in alphabet] +  # 替换
               [word[0:i] + c + word[i:] for i in range(n+1) for c in alphabet])

# 与something编辑距离为2的单词达到了114,324个
# 优化：在这些编辑距离小于2的词中间，只把那些正确的单词作为候选词，只能返回3个单词

# 返回所有与单词 w 编辑距离2的集合
# 在这些编辑距离小于2的词中间，只把那些正确的词作为候选词
# def edits2(word):
#     return set(e2 for el in editsl(word) for e2 in editsl(el))


# print(editsl('morw'))

def known_edits2(word):
    # for el in editsl(word):
    #     # print(el)
    #     for e2 in editsl(el):
    #         # print(e2)
    #         if e2 in NWORDS.keys():
    #             print(e2)
    return set(e2 for el in editsl(word) for e2 in editsl(el) if e2 in NWORDS.keys())

# print(known_edits2('morw'))


def known(words):
    return set(w for w in words if w in NWORDS)


def correct(word):
    candidates = known([word]) or known(editsl(word)) or known_edits2(word) or [word]
    return max(candidates, key=lambda w: NWORDS[w])

print(correct('morw'))