自然语言处理之——关键词提取(一)

一．摘要

本次的分享中，我们将了解目前较常用的关键词提取技术。关键词是代表文章重要内容的一组词。在文本的分类聚类、自动摘要等方面有着重要的作用。还可以让人们更直观便捷的浏览文本信息。在现实的常用文本中是不包含关键词的，所以自动提取关键词技术有着很重要的意义。

二． 关键字提取技术概述

在巨量的信息面前，很多信息是我们无法全面接收，因此我们需要从中筛选出一些我们感兴趣的或者有代表性的信息进行接收。那么这一个过程就是关键词提取技术。如果我们可以准确的将所有的文档都用几个简单的关键词描述，那么我们便可以通过关键词了解一篇文章的内容，这将会提高信息获取到效率。

关键词提取算法一般可以分为有监督和无监督两类。有监督的关键词提取方法主要是通过分类的方式进行，首先通过创建一个比较丰富完善的词表，然后通过计算相似度判断每个文档与词表中每个词的匹配程度，类似打标签的方式，以此达到关键词提取的效果。有监督的方法虽然可以获取到较高的提取精度，但是需要大批量的标注数据，人工成本非常高。另外，现代信息量爆炸式增长，会新增出大量的新信息，一个固定的词表代表范围有限，很难将这类信息内容表述出来，但要人工维护这个受控的词表需要很大的人力成本，这就成为了有监督方法在使用上的一个很大短板。

对比有监督的关键词提取方法，无监督的方法对数据的要求就低了很多。不需要人工创建、维护词表，也不需要人工标准语料辅助进行训练。因此，这类的关键词提取技术应用更普遍。本次分享我们的主要介绍的关键词提取技术是TF-IDF算法和TextRank算法。

三． TF-IDF算法

TF-IDF算法（Term Frequency-Inverse Document Frequency，词频-逆文档频次算法）是一种基于统计的计算方法，常用于评估在一个文档集中一个词对某份文档的重要程度。这种思想是符合关键词抽取的需求，一个词语对文档越重要，那么是关键词的概率就越大，所以通常将TF-IDF算法应用在关键词提取中。

首先从算法的名称分析，TF-IDF算法是由两部分组成：TF算法和IDF算法。TF算法是统计一个词在一篇文档中出现的频次，基本思想理解为：一个词在一篇文档中出现的次数越多，那么这个词对文档的表达能力就越强。而IDF算法是统计一个词在文档集中的多少个文档中出现，基本思想理解为：如果一个词在越少数的文档中出现，则对文档的区分能力就越强。

TF算法和IDF算法也可以单独使用，但是两种算法单独使用过程中都有其不足的地方。TF算法仅仅能够衡量词在一篇文档的出现频次，没有考虑到词对文档的区分能力。而IDF算法则是相反，强调的是词的区分能力，但是一个词既然能够在一篇文档中频繁出现，也表示这个词可以很好的表征这篇文档的特征，如果忽视这点显然也是很不合理的。于是，经过实际考虑将这两种算法综合使用，组合成TF-IDF算法，从词频、逆文档频次两个方面对词的代表能力进行衡量。

图1：TF表达式

在实际的使用中，TF的计算表达式如图所示。其中nij表示词i在文档j中的出现次数。但是仅用频次来表示，长文本中的词出现频次高的概率会更大，这一点会影响到不同文档之间关键词权值的比较。所以在计算过程中一般会对词频进行归一化。分母的部分就是统计文档中每一个词出现次数的总和，也就是文档中词的总数量。

图2：IDF表达式

IDF算法的计算表达式如图所示。|D|表示文档集中总文档数，|Di|表示文档集中出现词i的文档数量。分母中＋1是采用了拉普拉斯平滑思想，避免有部分新词没有在语料库中出现过而导致分母为零的情况出现，有增强算法健壮性的作用。

图3：TF-IDF表达式

TF-IDF算法表达式如上图中所示，TF-IDF算法就是TF算法与IDF算法的综合使用，对于这两种算法的组合，通过大量的理论推导和实验研究后，发现以取IDF算法值的对数，然后相乘是较为有效的计算方式。

除了上述提到的传统TF-IDF算法之外，TF-IDF算法还有很多变种的加权方法。传统的TF-IDF算法中，仅仅考虑到了词的两个统计信息。因此，其对文本的信息利用程度显然是比较少的。所以除了上述的信息外，一个文本中还有很多的信息能够对关键词的提取起到很好的辅助作用，例如每个词的词性、出现的位置等等。算法本身的定义是死的，但是结合我们的应用场景，对算法进行合理的改造和补充，使之能够更适应应用环境，这样可以更好的得到想要的结果。

四． TextRank算法

在上述的TF-IDF算法中，都需要基于一个现成的语料库，主题模型的关键词提取算法则是需要通过对大规模文档学习，发现文档的隐含主题。而TextRank算法则是可以脱离语料库的基础，仅对单篇文档进行分析就可以提取该文档的关键词。这也是TextRank算法的重要特点。TextRank算法的基本思想源于Google的PageRank算法。因此这里需要先了解下PageRank算法。

图4：PageRank算法示意图

PageRank算法是一种网页排名算法，其基本思想有两个：（1）链接数量。一个网页被越多的其他网页链接，表示这个网页越重要；（2）链接质量。一个网页被一个越高权值的网页链接，也表示这个网页越重要。

图5：PageRank算法表达式

In(Vi)为Vi的入链集合，Out(Vj)为Vj的出链集合，|Out(Vj)|则是出链的数量。因为每一个网页要将它自身的分数平均地贡献给每个链接，那么S(Vj)/|Out(Vj)|即为Vj贡献给Vi的分数。将Vi的所以入链贡献给它的分数相加，就是Vi自身的数值。以这种方式来计算每个网页的分数就会有一个问题，每个网页的得分都与其链接的网页的分数有关，那么其链接网页的数值该如何确定？为解决这个问题，算法开始时会将所以网页的得分初始化为1，然后通过多次迭代来对每个网页的分数进行收敛。收敛得到的数值为最终得分。