主题模型LDA

主题模型LDA

原理

LDA也称为隐狄利克雷分布，LDA的目的就是要识别主题，即把文档—词汇矩阵变成文档—主题矩阵（分布）和主题—词汇矩阵（分布）。

文档生成方式

• 按照先验概率$P(d_{i})$选择一篇文档$d_{i}$
• 从狄利克雷分布$alpha$中取样生成文档$i$的主题分布$ heta_{i}$，换言之，主题分布$ heta_{i}$由超参数$alpha$的狄利克雷分布生成
• 从主题多项式分布$ heta_{i}$中取样生成文档$i$第$j$个词的主题$z_{i,j}$
• 从狄利克雷分布$eta$中取样生成主题$z_{i,j}$对应的词语分布$phi_{z_{i,j}}$，换言之，词语分布$phi_{z_{i,j}}$由参数为$eta$的狄利克雷分布生成
• 从词语的多项式分布$phi_{z_{i,j}}$中采样最终生成词语$w_{i,j}$

共轭先验分布

狄利克雷分布是多项式分布的共轭先验分布，如果后验概率P(θ|x)和先验概率p(θ)满足同样的分布律，那么，先验分布和后验分布被叫做共轭分布，同时，先验分布叫做似然函数的共轭先验分布。

LDA参数估计

LDA的参数估计使用的是吉布斯采样的方法。LDA的学习过程其实就是估计主题分布$ heta$和词分布$phi$这两个未知参数的过程。我们知道LDA是生成模型，最终目的是在控制超参数$alpha$和$eta$的条件下，通过隐变量$ heta$和$phi$，得到联合分布$p(w,z)$，公式如下：

$$p(z,w|alpha, eta)=p(w|z,eta)p(z|alpha)$$

$$p(w|z,eta)= int p(w|z, phi)p(phi|eta)d phi$$

$$p(z|alpha)= int p(z| heta)p( heta| alpha)$$

当得到联合分布后，就可以根据当前的文章计算出主题分布$phi$和词分布$ heta$

代码实现

模型训练

import json
from gensim import corpora, models
from gensim.corpora import Dictionary

with open(r'./data/data_specification/cn_software_data.json', 'r', encoding='utf8') as f:
    cn_software_data = json.load(f)

with open(r'./data/LDA_data/LDA_text.json', 'r', encoding='UTF8') as f:
    LDA_texts = json.load(f)

LDA_dict = Dictionary(LDA_texts)
LDA_dict.save(r'./data/LDA_data/LDA_dict')
LDA_corpus = [LDA_dict.doc2bow(text) for text in LDA_texts]
 
# LDA训练参数
num_topics=500
iterations=1000
workers=3

# lda多进程训练
lda = models.ldamulticore.LdaMulticore(LDA_corpus, id2word=LDA_dict, num_topics=num_topics, iterations=iterations, workers=workers, batch=True)
lda.save(r'./LDA_model/lda.model' + 'lda_%s_%s.model'%(num_topics, iterations))

计算perplexity

#-*-coding:utf-8-*-
import sys
import os
from gensim.corpora import Dictionary
from gensim import corpora, models
from datetime import datetime
import logging
import math
logging.basicConfig(format='%(asctime)s : %(levelname)s : %(message)s : ', level=logging.INFO)

def perplexity(ldamodel, testset, dictionary, size_dictionary, num_topics):
    """calculate the perplexity of a lda-model"""
    # dictionary : {7822:'deferment', 1841:'circuitry',19202:'fabianism'...]
    print ('the info of this ldamodel: 
')
    print ('num of testset: %s; size_dictionary: %s; num of topics: %s'%(len(testset), size_dictionary, num_topics))
    prep = 0.0
    prob_doc_sum = 0.0
    topic_word_list = []
    for topic_id in range(num_topics):
        topic_word = ldamodel.show_topic(topic_id, size_dictionary)
        dic = {}
        for word, probability in topic_word:
            dic[word] = probability
        topic_word_list.append(dic)
    doc_topics_ist = []
    for doc in testset:
        doc_topics_ist.append(ldamodel.get_document_topics(doc, minimum_probability=0))
    testset_word_num = 0
    for i in range(len(testset)):
        prob_doc = 0.0 # the probablity of the doc
        doc = testset[i]
        doc_word_num = 0 # the num of words in the doc
        for word_id, num in doc:
            prob_word = 0.0 # the probablity of the word 
            doc_word_num += num
            word = dictionary[word_id]
            for topic_id in range(num_topics):
                # cal p(w) : p(w) = sumz(p(z)*p(w|z))
                prob_topic = doc_topics_ist[i][topic_id][1]
                prob_topic_word = topic_word_list[topic_id][word]
                prob_word += prob_topic*prob_topic_word
            prob_doc += math.log(prob_word) # p(d) = sum(log(p(w)))
        prob_doc_sum += prob_doc
        testset_word_num += doc_word_num
    prep = math.exp(-prob_doc_sum/testset_word_num) # perplexity = exp(-sum(p(d))/sum(Nd))
    print ("the perplexity of this ldamodel is : %s"%prep)
    
    return prep

if __name__ == '__main__':
    dictionary_path = r'./data/LDA_data/LDA_dict'
    corpus_path = r'./data/LDA_data/LDA_corpus'
    num_topics = 500
    ldamodel_path = './LDA_model/lda_{}_1000.model'.format(str(num_topics))
    dictionary = corpora.Dictionary.load(dictionary_path)
    corpus = corpora.MmCorpus(corpus_path)
    lda_multi = models.ldamodel.LdaModel.load(ldamodel_path)
    
    testset = []
    # sample 1/300
    for i in range(int(corpus.num_docs/300)):
        testset.append(corpus[i*300])
        # print(corpus[i*300])
    prep = perplexity(lda_multi, testset, dictionary, len(dictionary.keys()), num_topics)
    with open('./LDA_model/lda_{}.txt'.format(str(num_topics)), 'a', encoding='utf8') as f:
        f.write("the perplexity of K={} ldamodel is : {}".format(str(num_topics), str(prep)))

面试问题

pLSA和LDA的关系

pLSA和LDA都在寻找主题分布与词分布。pLSA跟LDA的区别在于，去探索这两个未知参数的方法或思想不一样。pLSA是求到一个能拟合文本最好的参数（分布），这个值就认为是真实的参数。但LDA认为，其实我们没法去完全求解出主题分布、词分布到底是什么参数，我们只能把它们当成随机变量，通过缩小其方差（变化度）来尽量让这个随机变量变得更“确切”。换言之，我们不再求主题分布、词分布的具体值，而是通过这些分布生成的观测值（即实际文本）来反推分布的参数的范围，即在什么范围比较可能，在什么范围不太可能。所以，其实这就是一种贝叶斯分析的思想，虽然无法给出真实值具体是多少，但可以按照经验给一个相对合理的真实值服从的先验分布，然后从先验出发求解其后验分布。

参考

https://blog.csdn.net/v_july_v/article/details/41209515

https://www.jianshu.com/p/b7033e792718

延伸

ABAE模型：https://www.jianshu.com/p/241cb238e21f