知识图谱从入门到应用——知识图谱的技术结构

article/2025/1/15 21:45:35

分类目录:《知识图谱从入门到应用》总目录
相关文章:
· 知识图谱的基础知识
· 知识图谱的发展
· 知识图谱的应用
· 知识图谱的技术结构


知识图谱是交叉技术领域

知识图谱是典型的交叉技术领域。在人工智能和机器学习领域,传统符号知识表示是知识图谱的重要基础技术;同时深度学习、表示学习等领域与知识图谱的交叉产生了知识图谱嵌入、知识图谱表示学习等交叉领域。在传统的自然语言处理领域,怎样从文本中自动化识别实体、抽取关系、检测事件等信息一直是经久不衰的研究热题,Knowledge Base Population即是知识图谱与自然语言处理之间产生的交叉领域。在数据库领域,知识图谱与数据库的交叉又产生了图数据库,而图嵌入、图挖掘等数据挖掘领域的方法也广泛地被用来处理知识图谱数据。同时,知识图谱也具有互联网基因,其最早的商业落地应用即是搜索引擎,因此在互联网和信息获取等领域的会议中也会看到很多知识图谱相关的学术论文。此外,计算机视觉、物联网和区块链等领域也都能时常见到知识图谱的影子。
知识图谱的技术结构

知识图谱的两个核心技术维度

虽然知识图谱的交叉特征导致知识图谱相关技术点繁多,但知识图谱始终有两个比较核心的技术基因。第一个是从知识的视角,它来源于传统AI的知识表示与推理领域,关心怎么表示概念和实体,怎样刻画它们之间的关系,怎样进一步表示公理、规则等更加复杂的知识。随着深度学习的兴起,怎样利用向量表示实体和关系产生了KG Embedding的技术领域;而怎样利用神经网络来实现逻辑推理则产生了Neural Symbolic Reasoning等新兴的技术领域。

知识+图谱
第二个视角是从图的视角,它来源于知识图谱的互联网基因,关心图中的节点、边、链接、路径、子图结构,怎样存储大规模的图数据,怎样利用图的结构对图数据进行推理、挖掘与分析等。知识图谱一方面比纯图的表达能力更强,能建模和解决更加复杂的问题,另外一方面又比传统专家系统时代的知识表示方法采用的形式逻辑更简单,同时容忍知识中存在噪声,在构建过程更加容易扩展,因此得到了更为广泛的认可和应用。

知识图谱的技术栈

进一步细分,知识图谱涉及的技术要素可以分为表示、存储、抽取、融合、推理、问答和分析等几个方面。例如,从表示的维度,涉及最基本的属性图表示和RDF图模型,以及更复杂知识的OWL本体表示和规则知识建模。从存储的维度,涉及怎样利用已有的关系数据库存储知识图谱,也涉及性能更高的原生图存储、图查询语言等。从抽取的维度,涉及怎样从文本中抽取概念、识别实体以及抽取三元组和事件等更为复杂的结构化知识。从融合的角度,涉及怎样实现本体映射和概念匹配,以及实例层的实体对齐等技术。从推理的角度,涉及基于传统符号逻辑的推理技术,以及新兴的基于表示学习和神经网络的推理技术。从问答的角度,涉及问句理解、语义解析、答案生成和实体链接等多个智能问答领域的技术。从分析的角度,涉及传统的图算法,以及利用图嵌入、图神经网络等技术对知识图谱数据进行深度挖掘和分析等方面的技术。其他还包括知识图谱的众包技术,在计算机视觉领域的Scene Graph的构建,以及Semantic IoT等。
知识图谱的技术栈

基于图的知识表示

第一个技术维度是表示。最常用的知识图谱表示方法有属性图RDF图两种。这两种表示方法都基于一个共同的图模型——有向标记图(Directed Labeled Graph),知识图谱就是基于有向标记图的知识表示方法。以RDF图模型为例具体介绍,知识图谱的最基本组成单元是三元组。一个三元组包含(Subject, Predicate, Object)三个部分,即主语、谓语和宾语。例如,“浙江大学位于杭州”就可以简单地用一个三元组表示。一条三元组代表了对客观世界某个逻辑事实的陈述。这些三元组头尾相互连接形成了一张描述万物关系的图谱。从这个角度来看,三元组实际上是最简单而且最接近于人的自然语言的数据模型,而图的信息组织方式又更接近人脑的记忆存储方式。当然,三元组的表达能力也是有限的,在后面的文章中还会介绍更加复杂的知识,比如本体公理、规则逻辑等怎样建模和表示。

图数据存储与查询

第二个技术维度是存储。图数据库充分利用图的结构建立微索引。这种微索引比关系数据库的全局索引在处理图遍历查询时更加廉价,其查询复杂度与数据集整体大小无关,仅正比于相邻子图的大小。因此在很多涉及复杂关联和多跳的场景中得到广泛应用。这里需要说明的是,图数据库并非知识图谱存储的必选方案,在后面的文章中,会介绍常见的知识图谱存储的各种解决方案。

知识抽取

第三个技术维度是知识抽取。知识图谱的构建一般多依赖于已有的结构化数据,通过映射到预先定义的Schema或本体来快速地冷启动。然后利用自动化抽取技术,从半结构化数据和文本中提取结构化信息来补全知识图谱。这里涉及D2R映射,表格及列表数据抽取,从文本中识别实体、关系和事件等。这里需要特别说明的是,目前完全自动化地抽取高质量的知识仍然是无法做到的,“机器抽取+人工众包”仍然是当前知识图谱构建的主流技术路线。

知识融合

第四个技术维度是知识图谱的融合。在知识图谱的构建过程中,很多时候都需要使用数据融合技术将多个来源数据中的实体或概念映射到统一的命名空间中。主要包含两个层面的融合,一个是在本体概念层面,例如两个不同的知识图谱用到的概念,其中一个定义的Rock Singer是另外一个定义的Singer类的子类。另一个是在实体层面,例如同一个人在不同的数据集中用的名字是不一样的。基于表示学习的方法是当前实现知识图谱异构融合的主流技术。

知识推理

第五个技术维度是知识推理。推理是知识图谱的核心技术和任务,知识图谱推理的目标是利用图谱中已经存在的关联关系或事实来推断未知的关系或事实,在知识图谱的各项应用任务中发挥着重要作用。推理可以用来实现链接预测、补全缺失属性、检测错误描述和识别语义冲突,以提升图谱质量等。在查询和问答中,推理可以用来拓展问句语义,提高查询召回。在推荐计算中,推理可用来提升推荐的精准性和可解释性。此外,推理在深度语言语义理解和视觉问答中也扮演着必不可少的角色。凡是包含深度语义理解的任务都会涉及推理的过程。当前,在知识图谱中实现推理大致可以分为基于符号逻辑的方法和基于表示学习的方法。传统基于符号逻辑的方法的主要优点是具备可解释性,主要缺点是不易于处理隐含和不确定的知识。基于表示学习的方法的主要优点是推理效率高且能表征隐含知识,主要缺点是丢失可解释性。

知识问答

第六个技术维度是知识问答。问答是利用知识图谱数据的主要形式之一。一个典型的问答处理流程涉及对问句的语义解析,即把自然语言问句解析为更易于被机器处理的逻辑表示或分布式表示形式,再将问句的语义表示与知识图谱中的节点进行匹配和查询,这个过程中可能还需要叠加推理,对结果进行放大,最后再对候选的匹配结果进行排序,并生成对用户友好的答案形式。知识图谱问答有很多种不同的实现形式,也会在知识图谱问答章节对相关基本技术进行介绍。

图算法

与知识分析第七个技术维度是图算法与知识分析。知识图谱作为一种基于图结构的数据,可以充分地利用各种图挖掘与分析算法对知识图谱进行深度的挖掘和分析。包括常见的基于图论的一系列算法,如最短路径搜索、子图识别和中心度分析等,也包括图嵌入、图神经网络等图表示学习方法。

最后,需要特别强调的是,知识图谱不是单一的技术,仅仅把握其中某一个方面的技术对于做好知识图谱还是远远不够的,而是需要建立系统工程思维。如前所述,知识图谱技术涉及数据、算法、工具和系统等多个维度。首先,知识图谱是一种高质量的数据,通过积累高质量的数据沉淀领域知识。这对于任何一个领域,都应该是一件需要持续投入的领域知识工程。其次,通常需要围绕知识图谱数据形成一整套算法、工具和应用系统。整个知识图谱技术栈涉及从数据来源、数据采集、图谱构建、智能服务和业务应用多个层面,知识图谱的价值也需要通过多个技术点的叠加交互才能最大限度地发挥出来。针对自身所在的领域,选择必要的技术要素、设计系统性的技术架构,更多地采用系统工程的思路实践知识图谱是非常重要的实践思路。

参考文献:
[1] 陈华钧.知识图谱导论[M].电子工业出版社, 2021
[2] 邵浩, 张凯, 李方圆, 张云柯, 戴锡强. 从零构建知识图谱[M].机械工业出版社, 2021


http://chatgpt.dhexx.cn/article/BRUhAQEV.shtml

相关文章

知识图谱从入门到应用——知识图谱的发展

分类目录:《知识图谱从入门到应用》总目录 相关文章: 知识图谱的基础知识 知识图谱的发展 知识图谱的应用 知识图谱的技术结构 1945年,美国首任总统科学顾问Vannevar Bush曾提出了一个称为MEMEX的“记忆机器”的设想。他认为人的记忆偏重…

知识图谱从入门到应用——知识图谱的基础知识

分类目录:《知识图谱从入门到应用》总目录 相关文章: 知识图谱的基础知识 知识图谱的发展 知识图谱的应用 知识图谱的技术结构 知识图谱是有学识的人工智能 早期的人工智能有很多持不同观点的流派,其中两个历史比较悠久的流派通常被称为…

知识图谱的应用领域

1.3 知识图谱的价值 知识图谱最早的应用是提升搜索引擎的能力。随后,知识图谱在辅助智能问答、自然语言理解、大数据分析、推荐计算、物联网设备互联、可解释性人工智能等多个方面展现出丰富的应用价值。 1.辅助搜索 互联网的终极形态是万物的互联,而…

最详细的知识图谱的技术与应用

导读:从一开始的Google搜索,到现在的聊天机器人、大数据风控、证券投资、智能医疗、自适应教育、推荐系统,无一不跟知识图谱相关。它在技术领域的热度也在逐年上升。 本文以通俗易懂的方式来讲解知识图谱相关的知识、尤其对从零开始搭建知识图…

知识图谱是什么?一文了解其技术与应用场景案例

导读:悟已往之不谏,知来者之可追。 小编整理了各种关于人工智能的学习资料库(知识图谱、图像处理opencv\自然语言处理、机器学习、数学基础等),还有AI大礼包:Pytorch、实战框架视频、图像识别、OpenCV、计算…

言简意赅,盘点知识图谱在各领域的应用

言简意赅,盘点知识图谱在各领域的应用 01 语义匹配02 搜索推荐03 问答对话04 推理决策05 区块链协作 什么是知识图谱?通俗易懂 01 语义匹配 语义匹配是搜索推荐、智能问答和辅助决策的基础。在没有知识图谱以前,文本匹配主要依靠字面匹配为…

知识图谱有哪些应用领域?

知识图谱通常应用于自然语言处理和人工智能领域,常用于提高机器学习模型的准确性和效率。它还可以用于数据挖掘、信息检索、问答系统和语义搜索等领域。近年来知识图谱在电子商务、金融、公安、医疗等行业逐步开始落地,在这些行业的渗透、深入中&#xf…

云主机 环境搭配 交接文档

1.各个文件夹作用 2.pycharm 同步文件到服务器: 设置被上传服务器路径 3. 远程 操作服务器 首先安装远程链接软件 以上环境基本搭配完善

计算机使用交接记录表,交接文档_计算机软件及应用_IT计算机_专业资料

交接文档_计算机软件及应用_IT计算机_专业资料 (6页) 本资源提供全文预览,点击全文预览即可全文预览,如果喜欢文档就下载吧,查找使用更方便哦! 9.9 积分 GainGainViewController(赚学饼)//获取赚学饼列表数据?(void)getData〃领取奖励?(vo…

交接文档怎么写_怎么写一篇实用的需求说明文档

应该很多人都遇到过这种场景吧:某天同事突然微信发来一句话:你写过产品需求文档吧,给我发一个模版。他们突然提出这种需求的时候,多半是在客户现场,出于客户要求,要完成一项叫做“写一个产品需求文档”的工…

如何快速离职?离职交接工作清单(前端)

前言 这是一篇前端离职项目交接清单(front-end handover checklist)。 仰天大笑出门去,我辈岂是蓬蒿人? 金三银四就要到了,大家一定跃跃欲试,甚至已经收获了很多offer。 即将入职公司:同学请问下周可以入职吗&#x…

开发交接文档_为开发人员创造更好的设计交接体验

开发交接文档 It’s 2020. We’re supposed to have flying cars and space travel. We should at least have our process for design handoff nailed down at this point. 现在是2020年。我们应该有飞行汽车和太空旅行。 在这一点上,我们至少应该确定我们的设计移交过程。 …

NvrSDK交接文档

这是使用md格式写成,为了方便阅读我就直接放到博客上了 一.工作内容 外面客户购买了我们的NVR产品,需要提供SDK包做二次开发解答客户对接SDK过程中遇到的问题解决SDK本身存在的bug根据新的需求增加接口 总结起来就是:提供SDK安装包、解答对…

某社区项目交接文档

某社区项目 本项目技术栈较为陈旧,使用framework7template7gulplessrequireJS。页面也存在很多迭代之后废弃的,故整理起来非常复杂,本文档将从几个方面试图对本项目进行梳理 为了使开发快速高效,使用了以下辅助工具:…

ds交接文档

环境 Qt Qt版本:Qt5.7.0以上,QT release下载地址http://download.qt.io/official_releases/qt/ Qt中文输入法软键盘需要重新编译qtvirtualkeyboard模块 qmake CONFIG"lang-en_GB lang-zh_CN"当前linux下部署版本是QT5.7.1,放在…

工作交接文档示例

工作交接 创建人 张三 联系方式 1234567890(QQ) 创建时间 2017/08/18 阅读人员 Java开发 公司简介 xx信息科技开发有限公司是一家…… 愿 景: 定 位: 使 命: 业务构成 公司主要产品有: 其中,几个主要用户对象…

交接文档整理

一、开发 无 TD 文档,先进行协商,避免出现口头需求、全部由开发背锅情况。优先处理 bug,半天内可以搞定就做,否则不予处理。情形:查询前需要先进行 insert。MD5。工作流中间过程业务处理,根据流程编号重新…

【交接文档】如何写好工作交接文档

反驳不需要写文档的言论 有很多工程师都持有一个观点:“不用看(写)文档,文档都在代码里”,还有一部分人认为,文档容易过时,很难跟上代码的更新节奏,因而没有必要写文档。 接手业务的时候吐槽别人不写文档&a…

动态域名解析概述及操作步骤讲解

随着IPv4公网资源的紧缺,以及越来越多的互联网服务发展,许多用户都采取了动态域名解析的方法来解决内网穿透和服务器搭建问题。那么动态域名解析是什么?怎么操作呢?本文将详细介绍。 动态域名解析概述 现在广大的互联网&#xf…

最全DNS域名解析流程及域名注册(细节!)

DNS详解 DNS解析流程详解 图 1 DNS解析流程图 ​ 1.客户机上的用户在应用程序(如web浏览器)中输入网址。应用程序首先检查其浏览器缓存,如果缓存中有,则这个域名解析过程就结束。如果浏览器缓存中没有,浏览器会查找本地的hosts文件是否有这个映射关系,如果有,就先调用这个…