图灵 | 一站式图应用平台

article/2025/9/21 20:27:24

点击「京东金融技术说」可快速关注

「引言」随着社会的日益发展,数据急剧增长,而数据背后的关系的挖掘的就显得更加重要,目前越来越多的人通过图技术去挖掘海量数据中的价值,却没有一个统一的平台,而【图灵】是为此而诞生的,支持百亿级顶点千亿级边数量级,通过【图灵】平台的一站式图形化操作快速的构建项目上线,最短可在一日内上线。

一、图简介

图是什么?

图是一种将实体以及实体之间的关系,抽象表达为图技术上的顶点(V)和边(E)。例如账号(pin)之间的关系,pin与pin之间是朋友、亲属、密友还是本人这些的关系都可以通过如下一张图形象的展示出来:

通过图相关的技术可以解决传统数据库无法或者很难解决的一些问题。

 

二、应用场景


图的应用场景很多,以下举例几个场景:

1、路径规划:在使用导航软件时,用户在选择一个开始地点和目的地之后导航软件会给出各种如路程最短,不走高速,时长最短等方案,而这些结果的计算都是基于图算法两点路径算法结合相应数据定制改良综合而得到的。

2、社区发现:在好友关系中,根据社区之间联系或紧密,利用图louvain算法或者其他算法对用户进行分群从而达到精准营销,个性化服务等。

3、金融贷后催收:利用图算法找出符合条件的失联人的联系人,从而提高催收失联修复的覆盖率、有效联系率,助力不良资产的回收。

上面只是几个简单应用场景,图技术还被用于很多其他的场景如:社交网络,通信网络,城市计算等等。

 

三、图灵平台是什么?

图灵平台是集图数据库和图计算于一身,提供图建模到图可视化一体化的通用一站式图应用平台,致力于服务业务,快速构建基于图技术的应用项目,提升效率,节约成本。

根据上图可看出图灵在架构上可以分为以下几层:

1、图服务层:

图灵提供了一整套灵活图可视化解决方案,前端采用模块化的组件方式,可根据项目的配置,灵活的设置前端样式以及最终的可视化效果,并提供灵活在线写gremlin的方式,根据用户灵活的需求自主定制分析语句,并可根据需要灵活选择两种输出结果:

  • 图可视化

  • Json格式

2、图接口层:

图灵提供标准的几种类型的输出接口

  • 点查询类型

  • 路径查询类型

  • 图查询

  • 定制化查询

3、图引擎层:

图引擎层有分为图数据库和图计算引擎,通过这两部分一站式解决OLTP和OLAP类型的需求。

  • 图数据库:

图数据库致力于间接OLTP的在线查询分析类型的需求,其具备以下几个特点:

  1. 分布式:支持百亿顶点千亿边级别的数据存储

  2. 元数据管理

  3. 图索引:支持模糊匹配查询

  4. 事务管理

  5. 版本管理:支持数据多版本

  • 图计算引擎(Joygraph)

图计算引擎Joygraph是一个性能高远超GraphX的高效的计算引擎,致力于解决海量数据下的OLAP类型的离线数据分析需求,可在百亿顶点千亿边的数据下,高效运行图上的各类常规图算法,并可根据业务场景灵活的定制图算法。并实现了以下特性:

  1. 增量图计算

  2. 顶点为中心的编程模型

  3. 图分区

  4. Push/pull双模式自适应

  5. Numa-aware

  6. 内置算法包

  7. 定制算法...

4、存储层:

在数据存储上,图灵支持分布式存储系统,关系型数据库和其他类型的存储。

 

四、图灵如何实现一站式

1、图应用

在图应用方面,图灵在功能上设计了一套建模流程,通过这套流程可以无需写一行程序代码的情况下的生成图应用项目,通过界面的简单操作便可完成上线。以下是建模流程:

  • Schema设计:图形化的简易操作即可抽象刻画顶点与边的关系,达到顶点与边的关系一目了然。

  •  ER设计:将数据源的表加载至页面,通过简易的操作将数据库中表转换为图需要的数据格式。

  • 数据映射:通过前端拖拽式的操作,将数据源与schema设计中的顶点、边、属性进行手动或者自动映射。

  • 数据加载:在数据加载设计了全自动化的入库流程,打通内部相关平台,实时精确监控入库的各个流程,高效入库,百亿数据可在几小时内完成。

  • 图可视化:提供强大的图可视化功能具体包括:

  1. 多布局:支持力导引布局,上下布局,左右布局

  2. 图保存:在图探索中可随时保持当前查询结果,保障关闭浏览器之后,下次打开可在上次的结果上继续操作

  3. 图下载:可将当前结果直接转换为图片形式存储

  4. 自定义查询

  5. 外链:可直接将图灵项目内嵌至其他系统

  6. 声明式/命令式扩展

  7. 多节点路径

  8. 路径下载:可将搜索出的路径以excel形式下载使用

  9. 在线写Gremlin

  10. 数据批量隐藏恢复

  11. 无限前进后退操作

  12. 图结果定位:名称结果定位/属性定位...

2、图计算

  • 提供可视化的数据计算流程服务,通过界面化的拖拽生成计算服务,集流程与调度一体,实时监控算法各个步骤。

  • 图灵平台图计算模块内置了丰富的算法组件,组件即服务,具体如下:

  1. PageRank

  2. 连通子图

  3. 连通路径

  4. K-Core

  5. 最短路径

  6. 标签传播

  7. 三角计数

  8. 关系预测...

 

五、项目支撑和成果

图灵系统发布至今已经陆续接入了许多项目,并得到了多方认可。已上线和即将上线项目达十余个,下面是具体已上线项目情况:

  • Idmapping(百亿级)

  • 失联修复项目(百亿级)

  • 企业征信(10亿级)

  • 数仓知识图谱

  • 智能实验室项目...

随着图灵平台项目的陆续接入,个性需求多样化,图灵平台会根据需求不断完善改进,丰富图灵平台功能,优化操作,争取打造一个更加便捷易用的一站式图应用平台。有合作意向的团队可联系本文作者哦!

 互动话题

图的应用场景除了本文第二部分写到的,还有其他哪些呢?

回复留言被选中轻松拿小礼物喽!!!


京东金融技术说&技术课堂

   ▼▼▼     

由京东金融-技术研发部策划组织

倡导“原创·实用·技术·专业”

致力于分享技术领域实战经验与技术干货

线上订阅“京东金融技术说”,线下聆听“技术课堂”

为加强技术分享、总结沉淀,提升金融技术影响力而搭建的线上线下融合交流平台

不只一技之长 · 我有N技在手

 咨询、建议、合作请联系:

刘嘉璐(liujialu)/张明瑛(zhangmingying3)


http://chatgpt.dhexx.cn/article/xofWQi3G.shtml

相关文章

图神经网络基础--基于图神经网络的节点表征学习

图神经网络基础–基于图神经网络的节点表征学习 引言 在图节点预测或边预测任务中,首先需要生成节点表征(Node Representation)。我们使用图神经网络来生成节点表征,并通过基于监督学习的对图神经网络的训练,使得图神…

图神经网络(三):节点分类

节点分类问题 数据集:Cora 包含七类学术论文,论文与论文之间存在引用和被引用的关系 数据集导入 from torch_geometric.datasets import Planetoid from torch_geometric.transforms import NormalizeFeaturesdatasetPlanetoid(rootdataset,nameCora,…

基于图神经网络的节点表征

我们使用图神经网络来生成节点表征,并通过基于监督学习的对图神经网络的训练,使得图神经网络学会产生高质量的节点表征。高质量的节点表征能够用于衡量节点的相似性,同时高质量的节点表征也是准确分类节点的前提。 在节点预测任务中&#xf…

sg、xb分析

文章目录 流程分析远程调用本地调用分析结果 甚感欣慰,系统的写一下教程,希望能够帮助到大家。 流程分析 第一步,分析流程。 通过堆栈信息点到源码中并断点。 apply方法能劫持另外一个对象的方法,继承另外一个对象的属性 apply方…

Intel SGX入坑必读——《Intel SGX Explained》(个人翻译,持续更新中)

写在最前 入坑Intel SGX之前先打好基础。《Intel SGX Explained》就是入坑必读之一,有助于理解Intel SGX的原理。这里仅作个人翻译,便于加深理解,也方便感兴趣的小伙伴一起学习交流。 原文下载地址:《Intel SGX Explained》原文 …

Intel SGX入门(一)——背景篇

为什么要Intel SGX? 以云环境为例子,云租户会将自己的产品部署在云平台中,但是云平台现在普遍认为是一个不可信的地方,因为可能会有云平台管理者、同一云主机其他租户的恶意攻击,也可能云平台本身存在漏洞&#xff0c…

windows下使用SGX

前言: 这个是简单对于毫无经验的人的入门博客,杠精勿扰,大神离开。 我觉得每当下载一个新的工具的时候要先看一看他自己带的文档。 何谓SGX?不解释,您可以去看其介绍,百度搜搜即可。 win10如何下载SGX&a…

Intel SGX学习笔记(1):虚拟机Ubuntu20.04配置Intel SGX环境

写在前面 本教程仅仅适用虚拟机下的Ubuntu20.04配置Intel SGX环境,若是双系统下的Ubuntu系统,请看最后的参考连接。若是window10自带的ubuntu,也就是从微软商店下载的ubuntu系统,这个我到make preparation指令就开始疯狂报错&…

Windows10下使用Intel SGX功能(四):SGX技术分析

参考文献 Overview of Intel SGX - Part 1, SGX InternalsDeveloper Guide: Intel Software Guard Extensions (Intel SGX)(最新版)Overview of Intel SGX - Part 2, SGX Externals SGX 介绍 SGX 发展情况 SGX技术目前已经发展到SGX2。比如安全证明功…

可信启动、安全启动:SGX、TrustZone、SecureEnclave

最近在公众号上看到了一篇文章,算是又丰富了自己的安全方面的眼界。 最近看公众号取代了小视频、知乎这些东西。以前是真的不喜欢碎片化的东西,看什么学什么总是要找到书籍。但是这样的做法太过的极端,因为有时候有些事是两面性的。比如像安全…

Intel SGX 技术初探

最近公司需要开发一款使用intel 的移动终端,需要用到SGX技术,特此将调研和整理的相关资料放置于下,欢迎交流。 一、SGX技术背景 1.1 SGX技术定义 SGX全称Intel Software Guard Extensions,顾名思义,其是对因特尔体系…

Intel SGX入门(二)——SGX应用篇

大概了解SGX以后,SGX应用有哪些? 第一种,SGX应用于服务器端,云端 这一类个人觉得很需要结合代码、它们所描述的行业需求和以前的行业产品去考虑问题,毕竟是应用,不然可能体会不到精髓。 我对SGX应用的理解…

Intel SGX Explained

文章目录 SGX新增Abstract第一章 概括1.1 SGX简介1.2 大纲和问题发现 第二章 Intel体系架构背景知识2.1 Overview2.2 计算模型2.3 软件权限级别2.4 地址空间2.5 地址转换2.5.1 地址转换概念2.5.2 地址转换和虚拟化2.5.3 页表属性 2.6 执行上下文2.7 段寄存器2.8 特权级别转换2.…

sgx使用记录(Windows开发环境搭建以及sgx的简单介绍)1

sgx使用记录 相关代码仓库 ##sgx-sdk https://github.com/apache/incubator-teaclave-sgx-sdk.git##Teaclave:通用安全计算平台 https://github.com/apache/incubator-teaclave检测sgx运行环境是否支持 ##或使用cpuid命令 cpuid |grep -i sgx##或使用脚本测试 下…

Windows10下使用Intel SGX功能(一):环境搭建

文章目录 参考文献系统要求一、安装Open Enclave SDK 环境(一)什么是Open Enclave SDK(二)启动SGX功能方法一: BIOS启动方法二:软件方式启动 (三)安装必要环境(1&#xf…

Intel SGX 功能如何开启

Intel SGX 功能如何开启 我本身是 Windows10 系统, BIOS 是 ASUS 的,在想装 Ubuntu 双系统的时候,在启动 Ubuntu 安装 ISO 的时候提示说电脑的 SGX 没有开启,安装失败,安装界面都没有进去。 之后搜了下如何开启 SGX&a…

SGX的内部组件概述

导语:SGX是Intel开发的新的处理器技术,可以在计算平台上提供一个可信的空间,保障用户关键代码和数据的机密性和完整性。SGX全称Intel Software Guard Extensions,顾名思义,其是对因特尔体系(IA)…

SGX入门

如何设计SGX程序: SGX分为可信部分和不可信部分,可信部分由enclave组成(一个应用程序可以拥有一个或多个enclave),enclave存储在加密的内存中,受SGX保护,enclave一旦被建立就不能更改,所以通常…

SGX Enable

根据INTEl的官方建议, 目前的电脑主板在BIOS设置上只保留了Disabled和Software Controlled来开启和关闭SGX扩展 使用Software Controlled开关的原因官方文档有阐述,如下: 开启SGX扩展,首先需要满足以下要求: CPU具有…

Intel SGX技术详细解释(非常棒)

http://www.jos.org.cn/html/2018/9/5594.htm#b18 随着信息技术的迅速发展与广泛应用, 人类社会已经进入了一个崭新的互联网时代.一方面, 人们享受着互联网科技带来的便利; 另一方面, 由网络和信息系统构成的网络空间也面临着日益严峻的安全问题.信任是网络空间中安全交互的基…