TextRank算法介绍及实现

article/2025/8/28 16:41:00

目录

1、PageRank算法

2、TextRank算法

（1）关键词抽取（keyword extraction）

（2）关键短语抽取（keyphrase extration）

（3）关键句抽取（sentence extraction）

3、TextRank算法实现

（1）基于Textrank4zh的TextRank算法实现

（2）基于jieba的TextRank算法实现

（3）基于SnowNLP的TextRank算法实现

4、PageRank算法与TextRank算法的区别

1、PageRank算法

PageRank算法通过计算网页链接的数量和质量来粗略估计网页的重要性，算法创立之初即应用在谷歌的搜索引擎中，对网页进行排名。 

PageRank算法的核心思想如下：

（1）链接数量：如果一个网页被越多的其他网页链接，说明这个网页越重要，即该网页的PR值（PageRank值）会相对较高；

（2）链接质量：如果一个网页被一个越高权值的网页链接，也能表明这个网页越重要，即一个PR值很高的网页链接到一个其他网页，那么被链接到的网页的PR值会相应地因此而提高。

PageRank算法计算公式：

PageRank算法论文：The PageRank Citation Ranking: Bringing Order to the Web

2、TextRank算法

TextRank算法是一种基于图的用于关键词抽取和文档摘要的排序算法，由谷歌的网页重要性排序算法PageRank算法改进而来，它利用一篇文档内部的词语间的共现信息(语义)便可以抽取关键词，它能够从一个给定的文本中抽取出该文本的关键词、关键词组，并使用抽取式的自动文摘方法抽取出该文本的关键句。

TextRank算法的基本思想是将文档看作一个词的网络，该网络中的链接表示词与词之间的语义关系。

TextRank算法计算公式：

TextRank算法论文：TextRank: Bringing Order into Texts

TextRank算法主要包括：关键词抽取、关键短语抽取、关键句抽取。

（1）关键词抽取（keyword extraction）

关键词抽取是指从文本中确定一些能够描述文档含义的术语的过程。对关键词抽取而言，用于构建顶点集的文本单元可以是句子中的一个或多个字；根据这些字之间的关系（比如：在一个框中同时出现）构建边。根据任务的需要，可以使用语法过滤器（syntactic filters）对顶点集进行优化。语法过滤器的主要作用是将某一类或者某几类词性的字过滤出来作为顶点集。

（2）关键短语抽取（keyphrase extration）

关键词抽取结束后，我们可以得到的N个关键词，在原始文本中相邻的关键词构成关键短语。因此，从get_keyphrases函数的源码中我们可以看到，它先调用get_keywords抽取关键词，然后分析关键词是否存在相邻的情况，最后确定哪些是关键短语。

（3）关键句抽取（sentence extraction）

句子抽取任务主要针对的是自动摘要这个场景，将每一个sentence作为一个顶点，根据两个句子之间的内容重复程度来计算他们之间的“相似度”，以这个相似度作为联系，由于不同句子之间相似度大小不一致，在这个场景下构建的是以相似度大小作为edge权重的有权图。

3、TextRank算法实现

（1）基于Textrank4zh的TextRank算法实现

# coding=utf-8
from textrank4zh import TextRank4Keyword, TextRank4Sentence
import jieba.analyse
from snownlp import SnowNLP
import pandas as pd
import numpy as np#关键词抽取
def keywords_extraction(text):tr4w = TextRank4Keyword(allow_speech_tags=['n', 'nr', 'nrfg', 'ns', 'nt', 'nz'])# allow_speech_tags   --词性列表，用于过滤某些词性的词tr4w.analyze(text=text, window=2, lower=True, vertex_source='all_filters', edge_source='no_stop_words',pagerank_config={'alpha': 0.85, })# text    --  文本内容，字符串# window  --  窗口大小，int，用来构造单词之间的边。默认值为2# lower   --  是否将英文文本转换为小写，默认值为False# vertex_source  -- 选择使用words_no_filter, words_no_stop_words, words_all_filters中的哪一个来构造pagerank对应的图中的节点#                -- 默认值为`'all_filters'`，可选值为`'no_filter', 'no_stop_words', 'all_filters'# edge_source  -- 选择使用words_no_filter, words_no_stop_words, words_all_filters中的哪一个来构造pagerank对应的图中的节点之间的边#              -- 默认值为`'no_stop_words'`，可选值为`'no_filter', 'no_stop_words', 'all_filters'`。边的构造要结合`window`参数# pagerank_config  -- pagerank算法参数配置，阻尼系数为0.85keywords = tr4w.get_keywords(num=6, word_min_len=2)# num           --  返回关键词数量# word_min_len  --  词的最小长度，默认值为1return keywords#关键短语抽取
def keyphrases_extraction(text):tr4w = TextRank4Keyword()tr4w.analyze(text=text, window=2, lower=True, vertex_source='all_filters', edge_source='no_stop_words',pagerank_config={'alpha': 0.85, })keyphrases = tr4w.get_keyphrases(keywords_num=6, min_occur_num=1)# keywords_num    --  抽取的关键词数量# min_occur_num   --  关键短语在文中的最少出现次数return keyphrases#关键句抽取
def keysentences_extraction(text):tr4s = TextRank4Sentence()tr4s.analyze(text, lower=True, source='all_filters')# text    -- 文本内容，字符串# lower   -- 是否将英文文本转换为小写，默认值为False# source  -- 选择使用words_no_filter, words_no_stop_words, words_all_filters中的哪一个来生成句子之间的相似度。# 		  -- 默认值为`'all_filters'`，可选值为`'no_filter', 'no_stop_words', 'all_filters'# sim_func -- 指定计算句子相似度的函数# 获取最重要的num个长度大于等于sentence_min_len的句子用来生成摘要keysentences = tr4s.get_key_sentences(num=3, sentence_min_len=6)return keysentencesdef keywords_textrank(text):keywords = jieba.analyse.textrank(text, topK=6)return keywordsif __name__ == "__main__":text = "来源：中国科学报本报讯（记者肖洁）又有一位中国科学家喜获小行星命名殊荣！4月19日下午，中国科学院国家天文台在京举行“周又元星”颁授仪式，" \"我国天文学家、中国科学院院士周又元的弟子与后辈在欢声笑语中济济一堂。国家天文台党委书记、" \"副台长赵刚在致辞一开始更是送上白居易的诗句：“令公桃李满天下，何须堂前更种花。”" \"据介绍，这颗小行星由国家天文台施密特CCD小行星项目组于1997年9月26日发现于兴隆观测站，" \"获得国际永久编号第120730号。2018年9月25日，经国家天文台申报，" \"国际天文学联合会小天体联合会小天体命名委员会批准，国际天文学联合会《小行星通报》通知国际社会，" \"正式将该小行星命名为“周又元星”。"#关键词抽取keywords=keywords_extraction(text)print(keywords)#关键短语抽取keyphrases=keyphrases_extraction(text)print(keyphrases)#关键句抽取keysentences=keysentences_extraction(text)print(keysentences)

运行结果：

（2）基于jieba的TextRank算法实现

if __name__ == "__main__":text = "来源：中国科学报本报讯（记者肖洁）又有一位中国科学家喜获小行星命名殊荣！4月19日下午，中国科学院国家天文台在京举行“周又元星”颁授仪式，" \"我国天文学家、中国科学院院士周又元的弟子与后辈在欢声笑语中济济一堂。国家天文台党委书记、" \"副台长赵刚在致辞一开始更是送上白居易的诗句：“令公桃李满天下，何须堂前更种花。”" \"据介绍，这颗小行星由国家天文台施密特CCD小行星项目组于1997年9月26日发现于兴隆观测站，" \"获得国际永久编号第120730号。2018年9月25日，经国家天文台申报，" \"国际天文学联合会小天体联合会小天体命名委员会批准，国际天文学联合会《小行星通报》通知国际社会，" \"正式将该小行星命名为“周又元星”。"# 基于jieba的textrank算法实现keywords=keywords_textrank(text)print(keywords)

运行结果：

（3）基于SnowNLP的TextRank算法实现

    # 基于SnowNLP的textrank算法实现snlp=SnowNLP(text)print(snlp.keywords(6))  #关键词抽取print(snlp.summary(3))   #关键句抽取

运行结果：

4、PageRank算法与TextRank算法的区别

  • PageRank算法根据网页之间的链接关系构造网络，TextRank算法根据词之间的共现关系构造网络；
  • PageRank算法构造的网络中的边是有向无权边，TextRank算法构造的网络中的边是无向有权边。

参考：TextRank算法的基本原理及textrank4zh使用实例

本人博文NLP学习内容目录：

一、NLP基础学习

1、NLP学习路线总结

2、TF-IDF算法介绍及实现

3、NLTK使用方法总结

4、英文自然语言预处理方法总结及实现

5、中文自然语言预处理方法总结及实现

6、NLP常见语言模型总结

7、NLP数据增强方法总结及实现

8、TextRank算法介绍及实现

9、NLP关键词提取方法总结及实现

10、NLP词向量和句向量方法总结及实现

11、NLP句子相似性方法总结及实现

12、NLP中文句法分析

二、NLP项目实战

1、项目实战-英文文本分类-电影评论情感判别

2、项目实战-中文文本分类-商品评论情感判别

3、项目实战-XGBoost与LightGBM文本分类

4、项目实战-TextCNN文本分类实战

5、项目实战-Bert文本分类实战

6、项目实战-NLP中文句子类型判别和分类实战

交流学习资料共享欢迎入群：955817470（群一），801295159（群二）


http://chatgpt.dhexx.cn/article/AI9FjCCD.shtml

相关文章

TextRank原理解释

TextRank原理解释

目录 1. PageRank原理 2. TextRank （1）TextRank需要满足的条件 （2）TextRank思想的简要理解 （3）TextRank原理及例子讲解 1. PageRank原理 在这里可以看我转载的PageRank原理链接，比较详细h…
阅读更多...
TextRank算法原理简析、代码实现

TextRank算法原理简析、代码实现

前言—PageRank 注：PageRank原理另行查询 在介绍TextRank前，我想先给大家介绍下PageRank，实质上个人认为可以把TextRank当做PageRank2.0。   谷歌的两位创始人的佩奇和布林，借鉴了学术界评判学术论文重要性的通用方法&#xff0…
阅读更多...
NLP学习笔记——TextRank算法

NLP学习笔记——TextRank算法

一、算法简介 TextRank算法是一种基于图的排序算法，由谷歌的网页重要性排序算法PageRank算法改进而来，主要应用有关键词提取、文本摘要抽取等。该算法的主要思想是：把文档中的词（句）看成一个网络，词&#…
阅读更多...
机器学习——逻辑回归常见面试题整理

机器学习——逻辑回归常见面试题整理

逻辑回归 1.介绍 逻辑回归假设数据服从伯努利分布，通过极大化似然函数的方法，运用梯队下降来求解参数，来达到将数据二分类的目的。 2.逻辑回归的损失函数和梯度下降参数迭代方法 逻辑回归的损失函数是它的极大似然函数 参数迭代方法 3.逻…
阅读更多...
面试精选逻辑推理题总结

面试精选逻辑推理题总结

类似的杀人游戏 1、500张骨牌整齐地排成一行，按顺序编号为1、2、3、……、499、500。第一次拿走所有奇数位置上的骨牌，第二次再从剩余骨牌中拿走奇数位置上的骨牌，以此类推。请问最后剩下的一张骨牌的编号是？（256&…
阅读更多...
IT科技企业逻辑思维面试题

IT科技企业逻辑思维面试题

逻辑思维面试题 一、假设有一个池塘，里面有无穷多的水。现有2个空水壶，容积分别为5升和6升。问题是如何只用这2个水壶从池塘里取得3升的水。【请描述操作过程】 答：（1）先用容积为6升的水壶装满水； &#…
阅读更多...
面试逻辑题分享--字母数字映射关系推算题

面试逻辑题分享--字母数字映射关系推算题

越来越多的朋友可能会发现，在现在找工作的时候，经常会遇到一些笔试题，而且其中不乏有逻辑题，企业希望通过一些逻辑题的测试，来判断求职者的一个逻辑思维能力。今晚在群里看到有小伙伴发了一个题，一时兴起&a…
阅读更多...
前端_逻辑题 1

前端_逻辑题 1

题目一 5只鸡5天能下5个蛋，100天下100个蛋需要多少只鸡？ 1只鸡5天能下1个蛋，1只鸡100天能下20个蛋，所以100天下100个蛋需要5只鸡。 题目二 两个盲人都各自买了一对黑袜和一对白袜，四对袜子的布质、大小完全相同&#…
阅读更多...
华为软件测试笔试真题之变态逻辑推理题【二】华为爆火面试题

华为软件测试笔试真题之变态逻辑推理题【二】华为爆火面试题

“一头牛重800公斤，一座桥承重700公斤，问牛怎么过桥？” 这个问题在知乎上被浏览过13672927次，火热程度可见一斑。 据说这是华为的面试题，看似不合理的题目和国际闻名的大厂，极大的勾起了人们的兴趣。 不像面…
阅读更多...
二、逻辑回归LR面试题总结

二、逻辑回归LR面试题总结

1. 简单介绍一下逻辑回归？ 逻辑回归主要用来解决分类问题，线性回归的结果 Y Y Y带入一个非线性变换的Sigmoid函数中，得到 [ 0 , 1 ] [0,1] [0,1]之间取值范围的数 S S S， S S S可以把它看成是一个概率值，如果我们设置…
阅读更多...
互联网面试——.Net 面试题

互联网面试——.Net 面试题

提供了最常见的 .Net 面试问题和许多公司提出的答案。让我们看看顶级 Dot Net 面试问题列表。 1. 什么是.NET？ .NET 是一种软件开发框架。它就像其他软件开发框架（J2EE）一样。它以类库和 API 的形式提供运行时功能和一组丰富的预构建功能。此…
阅读更多...
程序员面试逻辑题解析

程序员面试逻辑题解析

《程序员面试逻辑题解析》 基本信息 原书名：Puzzles for Programmers and Pro 作者： (美)Dennis E. Shasha [作译者介绍] 译者： 费若愚 朱学武 出版社：人民邮电出版社 ISBN：9787115301956 上架时间：2012…
阅读更多...
程序员面试必看32道经典逻辑推理题

程序员面试必看32道经典逻辑推理题

写在前面： 此文档由一位学长整理，转载请附上原文出处链接 32道经典逻辑推理题包括有关二进制、水桶、钱、蓝眼、时间、重量、数学、其他等问题 Click here 有秘密哦！！！ 点击浏览 文章目录 一、数字的魅力二、分而治之…
阅读更多...
面试逻辑题

面试逻辑题

逻辑题目 逻辑题目现在也是面试中常考的题目,也不清楚面试出这种题目的意义,可能就是考察面试人员是否逻辑清晰. 这种题目没有什么好的方法,除非你见过原题,否则,只能根据所给出的条件慢慢分析,尽量不要用常规思路,希望大家要跳跃思维. 如果实在不行就给出一种解法,可能不是最…
阅读更多...
面试常见逻辑题小整理

面试常见逻辑题小整理

题一、 1 1 1 2 1 1 2 1 1 1 1 1 2 2 1 下一行是什么？ 答案： 312211 题二、 （1）烧一根不均匀的绳要用一个小时，如何用它来判断半个小时？ （2）烧一根不均匀的绳，从头烧…
阅读更多...
二维vector数组初始化方法

二维vector数组初始化方法

在用devcpp编译程序时发现，二维vector数组如果只定义的话，不指定元素个数也不进行初始化的时候会导致编译出错。 通常情况下，可以只提供vector对象容纳的元素数量而略去初始值。此时库会创建一个值初始化的元素初值，并把它赋给容器…
阅读更多...
【vector常用的6种初始化方法】

【vector常用的6种初始化方法】

文章目录 一二三四五六 一 最常用，此时，vector为空， size为0，表明容器中没有元素，而且 capacity 也返回 0，意味着还没有分配内存空间。这种初始化方式适用于元素个数未知，需要在程序中动态添加…
阅读更多...
vector的初始化和遍历

vector的初始化和遍历

这里只说明常用的vector初始化的方式。一般vector的初始化我还是比较习惯于像数组一样的初始化方式。一个一个赋值&#xff0c;或者用花括号的初始化。下面用一个程序来说明&#xff1a; #include "stdafx.h"#include <vector>#include <iostream.h>usi…
阅读更多...
c++ vector 初始化_C++--vector()的用法

c++ vector 初始化_C++--vector()的用法

vector()的用法 概念 vector 是向量类型&#xff0c;它可以容纳许多类型的数据&#xff0c;如若干个整数&#xff0c;所以称其为容器。vector 是C STL的一个重要成员&#xff0c;使用它时需要包含头文件&#xff1a; #include<vector>;一、vector的初始化 (1) vector&l…
阅读更多...
C++中 std::vector 的6种初始化方法

C++中 std::vector 的6种初始化方法

1.vector<int> list1; 默认初始化&#xff0c;最常用 此时&#xff0c;vector为空&#xff0c; size为0&#xff0c;表明容器中没有元素&#xff0c;而且 capacity 也返回 0&#xff0c;意味着还没有分配内存空间。 这种初始化方式适用于元素个数未知&#xff0c;需要在…
阅读更多...
推荐文章

Copyright @ 2022~2023