LDA 指南

article/2025/11/10 14:15:25

『本文转自：https://wdxtub.com/2017/05/03/lda-guide/』

LDA 作为文本分析中非常有用的算法，无论是在学术界还是工业界都已被广泛运用。本文是写给自己的 LDA 理解指南。

更新历史

2017.05.03: 完成初稿

关于 LDA 算法，网上的资料不胜枚举，除了 wiki，我最推荐《 LDA 漫游指南》。那么为什么我还要自己写一篇呢？一是加深理解，二是给出我在工作中应用 LDA 的一些思考。

基础知识

我们首先需要知道的是，LDA 是一种无监督机器学习技术，用来识别大规模文档集或语料库中潜在隐藏的主题信息。具体是怎么识别主题的呢？LDA 中最小单位是词，并假定每个词是由一个潜在隐藏的主题中抽取出来的。

当然，本文不会涉及具体的推导（用 mathjax 敲这些公式太痛苦了）。我们用上帝视角来还原整个过程：

拿到一篇文章，文章是由『词』组成的
因为开了上帝视角，我们能够一眼看出每个『词』所属的『主题』
又因为开了上帝视角，我们在知道了每个『词』所属的『主题』之后，就可以判断出这篇文章所对应的『主题』了。

那么 LDA 在这里做了什么？其实就是通过概率和计算，帮我们开了这么个上帝视角。如果对具体的推导感兴趣，可以参阅最后的链接。

应用场景

因为每个文章会被『划归』到某个『主题』中，所以我们可以：

相似文档发现，具体到产品中可以是『相关新闻』『类似文章』
自动打标签，具体步骤为：分词 - 词性标注 - 去掉副词、介词 - LDA 训练 - 获取主题相关词，这些相关词即为标签
新闻个性化推荐，具体步骤为：用 LDA 得到文章 Topic - 用 LR 进行点击预测 - 推荐同 Topic 最可能点击（且未点击）的新闻。另一种可能的方式是（不需要 LR）：记录用户的点击偏好（比如最常看哪类 topic） - 推荐这个 topic 中 topK 的文章（这个方法更加简答）

主题打分

因为 LDA 生成的主题是没有排序的，所以我们可以把显著的、有特色的主题排到前面，而将不明意义的主题往后面排。

注：这个在客服行业中非常有用，因为有时候会需要从大量的客服日志中提取出通用的 FAQ 问题并建立知识库，如果有这么一个排序，就可以减少人工评判的工作量。

算法的核心思路是当前 topic 的概率分本与垃圾分布的距离。如果你跟我一样用 gensim 这个 python 包的话，那么下面这几个函数需要重点留意：

get_document_topics(bow, minimum_probability=None, minimum_phi_value=None, per_word_topics=False)

Return topic distribution for the given document bow, as a list of (topic_id, topic_probability) 2-tuples.

Ignore topics with very low probability (below minimum_probability).

If per_word_topics is True, it also returns a list of topics, sorted in descending order of most likely topics for that word. It also returns a list of word_ids and each words corresponding topics’ phi_values, multiplied by feature length (i.e, word count)

get_term_topics(word_id, minimum_probability=None)

Returns most likely topics for a particular word in vocab.

get_topic_terms(topicid, topn=10)

Return a list of (word_id, probability) 2-tuples for the most probable words in topic topicid.

Only return 2-tuples for the topn most probable words (ignore the rest).

这里我们需要计算两个距离：