基于语法树和概率的AI模型

语法树是句子结构的图形表示，它代表了句子的推导结果，有利于理解句子语法结构的层次。简单说，语法树就是按照某一规则进行推导时所形成的树。

有了语法树，我们就可以根据其规则自动生成语句，但是语法树本身是死的，在日常生活中我们会有很多并不符合语法树的情况，比如：

我们转换一种思想，我不在意一句话对与不对，而是判断这句话出现概率的高低，如果一句话出现的最终概率越接近1，那么说明它越容易出现，反之亦然。这里我们就需要语言模型：N-gram，该模型基于这样一种假设，第N个词的出现只与前面N-1个词相关，而与其它任何词都不相关，整句的概率就是各个词出现概率的乘积。

 

我们可以看出其实1-gram模型就是个词汇单独出现的概率累乘，与我们的初衷不符合，相反N值越大，其实模型应该越好，不过由于计算量的缘故，实际中我们常用的是2-gram（Bi-Gram）与3-gram（Tri-Gram），当N>=4时，实在是太慢了。

2-gram：需要统计句子中词汇与前一词汇同时出现的次数，最后累乘

3-gram：需要统计句子中词汇与前两词汇同时出现的次数，最后累乘

BaseDir = os.path.dirname(os.path.dirname(os.path.abspath(__file__)))

file_path = f"{BaseDir}/day1/data/article_9k.txt"
with open(file_path, 'r', encoding='utf-8') as f:
    FILE = f.read()


def cut(string):
    return list(jieba.cut(string))


TOKENS = cut(FILE[:1000000])
words_count = Counter(TOKENS)
_2_gram_words = [
    TOKENS[i] + TOKENS[i+1] for i in range(len(TOKENS)-1)
]
_2_gram_word_counts = Counter(_2_gram_words)


def get_gram_count(word, wc):
    """
    获取字符串在总字符表中的次数
    :param word: 需要查询的字符串
    :param wc: 总字符表
    :return: 该字符串出现的次数，如没有则定为出现最少次数字符串的次数
    """
    return wc[word] if word in wc else wc.most_common()[-1][-1]


def two_gram_model(sentence):
    """
    分别计算句子中该单词在总字符表中出现的次数
    该单词跟后一单词在二连总字符表中出现的次数
    做比后的连续乘积
    :param sentence:  需要验证的句子
    :return:
    """
    tokens = cut(sentence)

    probability = 1

    for i in range(len(tokens)-1):
        word = tokens[i]
        next_word = tokens[i+1]

        _two_gram_c = get_gram_count(word + next_word, _2_gram_word_counts)
        _one_gram_c = get_gram_count(next_word, words_count)
        pro = _two_gram_c / _one_gram_c

        probability *= pro

    return probability


r = two_gram_model("这个花特别好看")
print(r)
r = two_gram_model("花这个特别好看")
print(r)
r = two_gram_model("自然语言处理")
print(r)
r = two_gram_model("处语言理自然")
print(r)
r = two_gram_model("前天早上")
print(r)

1.7475796022508822e-05
9.342406678699686e-07
0.030927835051546393
0.00018491124260355032
0.02857142857142857

从得出的结果我们就可以判断出这个句子出现的概率是多少了，当然N-gram模型的结果是受原始词袋影响的。