腾讯TDSQL全时态数据库系统论文入选VLDB

article/2025/10/29 8:01:48

当地时间2019年8月26至30日,VLDB 2019会议在美国加利福尼亚召开,腾讯分布式数据库TDSQL与中国人民大学最新联合研究成果被VLDB 2019接收并将通过长文形式发表。VLDB是国际数据管理与数据库领域顶尖的学术会议之一,这是继去年腾讯TDSQL相似度计算的论文被VLDB录用后,腾讯TDSQL再一次迈进VLDB殿堂。

论文中,腾讯介绍了基于TDSQL扩展而来的全时态数据库系统(T-TDSQL)。该系统在保证OLTP性能的前提下,提供了轻量级的全时态数据管理功能和全时态数据的事务处理能力,以及集当前态数据于生产系统、集历史态数据于分析型系统的集群架构,构成了全时态数据的完备解决方案。

file

当前态数据库和历史态数据都是具有价值的,并且全时态数据为数据安全、数据重演、数据挖掘和AI技术的施展提供了物理基础,还可以进一步建立数据之间的关联关系以实现“数据血统”的逻辑等,这使得TDSQL具备了在海量全时态数据上的分析计算能力。

一般主流数据库由于技术复杂度原因,不会保存历史态数据,丢弃了有价值的历史态数据,这成为许多企业机构数字化时代面临的痛点。腾讯分布式数据库TDSQL推出的具备海量时态数据计算能力的解决方案T-TDSQL,突破在于具备全时态数据模型,全时态数据存储、查询、计算等特性,并在保持全局一致性的基础上拥有高效的性能,真正实现为数据赋能。

据了解,论文提出了一种拓展的全时态数据模型,并提供了内建的全时态数据库解决方案,在针对TDSQL进行大量优化后,最终实现TDSQL全时态数据库系统。通过引入异步数据迁移、增量历史数据管理、原生全时态查询执行器等策略,使得该解决方案可实现轻量且高效的全时态数据管理计算。

通过TPCC测试基准,基于TDSQL实现的全时态数据库系统的系统性能相较于原始TDSQL下降率均值不到6%,领先于其他基于传统关系数据库实现的时态数据库系统。另外,基于真实的批处理业务场景实验结果显示,腾讯全时态数据库系统在简化业务应用开发的同时,可以缩短近一半的业务执行时间。

更重要的是,该解决方案具有很强的通用性,可以方便地引入到其他数据库系统中。

file

TDSQL是腾讯TEG计费平台部自主研发的金融级分布式数据库,十几年来承载了腾讯近90%的金融、交易、计费类业务。从2014年开始,TDSQL通过腾讯金融云平台对外开放,提供稳定可靠的云数据库服务,目前在公有云上服务金融机构500余家,为中国银行、微众银行在内的超过44家银行及政企机构提供专有云服务。

file

TDSQL一直致力于数据库技术自主研发投入,在VLDB2018上,腾讯TDSQL通过Short Paper展示了合作成果MSQL+ ,一个基于TDSQL的插件式近似查询工具https://mp.weixin.qq.com/s/BZZOH20NfRyCltPkl7Q7_Q。并向学界贡献领先的研究成果。同时,腾讯TDSQL持续通过腾讯高校合作犀牛鸟科研专项、高校联合实验室等平台与学界建立科研合作,推动技术创新。本次入选论文也是基于与人大长期高校合作产出的优秀成果。

在不断提升性能、完善配套服务之余,包括TDSQL在内的腾讯云数据库也一直秉承开放、共享的心态参与开源。未来,TDSQL将继续加大技术投入,持续提升产品能力,助力企业数字化转型升级。

本文由博客一文多发平台 OpenWrite 发布!


http://chatgpt.dhexx.cn/article/oOuOlygo.shtml

相关文章

顶会VLDB‘22论文解读:CAE-ENSEMBLE算法

摘要:针对时间序列离群点检测问题,提出了基于CNN-AutoEncoder和集成学习的CAE-ENSEMBLE深度神经网络算法,并通过大量的实验证明CAE-ENSEMBLE算法能有效提高时间序列离群点检测的准确度与效率。 本文分享自华为云社区《VLDB22 CAE-ENSEMBLE论文…

【轨迹压缩】Trajectory Simplification: On Minimizing the Direction-based Error [2015] [VLDB]

一、一个动机 保护方向信息的方向保持轨迹简化(DPTS)已被证明表现良好,而现有关于 DPTS 的研究 要求用户指定一个容错,在某些情况下用户可能不知道如何正确设置(例如,容错只能在未来某个时间知道&#xff…

VLDB 2021 EAB最佳论文:深度解析机器学习的基数估计为何无法实现?

©作者 | 曲昌博单位 | 西蒙菲莎大学近日,IEEE 数据工程新星奖王健楠团队论文《Are We Ready for Learned Cardinality Estimation?》夺得数据库顶会 VLDB 2021 年度的 EA&B 最佳论文奖。 数据库是企业管理和查询数据的复杂软件系统。 近年来随着机器学习以…

Transformers如何处理表格数据?【VLDB2022教程】Transformer表格数据表示:模型和应用...

来源:专知 本文为教程介绍,建议阅读5分钟最近的研究工作通过开发表格数据的神经表示扩展了语言模型。 在过去的几年中,自然语言处理界见证了基于transformer的语言模型(LM)在自由文本的神经表示方面的进展。鉴于关系表中可用知识的重要性&…

openGauss亮相VLDB2020,展示内存优化研究成果

VLDB(Very Large Data Base)作为数据库领域的三大顶级国际会议之一,是面向数据库研究人员,内核开发人员,开发商以及用户的年度国际会议论坛,代表数据库系统领域最杰出的研究和工程进展。在2020年&#xff0…

VLDB 2023 | 北大河图发布分布式训练神器Galvatron,一键实现大模型高效自动并行...

©作者 | 北京大学河图团队 单位 | 北京大学数据与智能实验室 北大河图团队提出了一套面向大模型的自动并行分布式训练系统 Galvatron,相比于现有工作在多样性、复杂性、实用性方面均具有显著优势,论文成果已经被 VLDB 2023 接收。 最近一段时间&…

利用 Map-Reduce 从文件中找到出现频率最高的 10 个 URL(2021 VLDB Summer School Lab0)

这篇博文主要是对 2021 VLDB Summer School Lab0 的一个总结 这个lab与MIT 6.824 的 lab1 相似,个人感觉比MIT 6.824 的 lab1 要稍微简单些,更容易上手。通过这个lab,可以学习到一些 Golang 的基础知识并对分布式系统有一个基础的了解&#…

Flink OLAP 助力 ByteHTAP 亮相数据库顶会 VLDB

复杂查询 QPS 破百,字节跳动 Flink OLAP 助力 ByteHTAP 亮相数据库顶会 VLDB。 2022 年 9 月 5 日至 9 月 9 日,VLDB 2022 在澳大利亚悉尼举行。字节跳动基础架构研究成果《ByteHTAP: ByteDance’s HTAP System with High Data Freshness and Strong Dat…

湖南大学计算机专业硕士研究导师,湖南大学研究生导师李睿科研论文被世界顶级数据库学术会议VLDB刊发...

李睿老师的论文被国际数据库顶级会议Very Large Data Bases接受并发表。 刊发的论文。 日前,以湖南大学信息科学与工程学院计算机科学系研究生导师李睿为第一作者,湖南大学为第一作者单位的科研论文“Fast Range Query Processing with Strong Privacy P…

PM-LSH: A Fast and Accurate LSH Framework for High-Dimensional Approximate NN Search(VLDB)

由于维数灾难的影响,高维空间中的最近邻(NN)搜索本质上是计算开销巨大的。局部敏感哈希(locality-sensitive hashing, LSH)是一种著名的近似神经网络搜索算法,能够以恒定概率在亚线性时间内回答c-近似神经网络(c-ANN)查询。现有的LSH方法主要基于哈希桶建…

Updatable Learned Index with Precise Positions(VLDB2022)

在现代数据库引擎中,索引在加速查询处理方面起着至关重要的作用。“学习索引”的新范式极大地改变了DBMS中索引结构的设计方式。关键的见解是,索引可以被视为预测数据集中查找键位置的学习模型。虽然这类研究在查找时间和索引大小方面都显示出良好的结果…

VLDB 2023 | 北大河图发布分布式训练神器Galvatron, 一键实现大模型高效自动并行...

关注公众号,发现CV技术之美 本文转自机器之心。 北大河图团队提出了一套面向大模型的自动并行分布式训练系统Galvatron,相比于现有工作在多样性、复杂性、实用性方面均具有显著优势,论文成果已经被 VLDB 2023 接收。 最近一段时间&#xff0c…

Benchmarking Learned Indexes(VLDB2021)

最近学习索引结构的进步建议用近似学习模型来替代现有的索引结构,比如b树。在这项工作中,我们提出了一个统一的基准,它将三种已经学习过的索引结构的优化实现与几种最先进的传统基准进行比较。通过使用四个真实的数据集,我们证明了…

阿里云数据库再获学术顶会认可,一文全览VLDB最新亮点

一年一度的数据库领域顶级会议VLDB 2019于当地时间8月26日-8月30日在洛杉矶圆满落幕。在本届大会上,阿里云数据库产品团队浓墨登场,不仅有多篇论文入选Research Track和Industrial Track,为了进一步加深产学研学术交流,阿里云还在…

2019计算机研究生暑期学校,2019年度VLDB暑期学校

由CCF数据库专业委员会、VLDB中国数据库学院主办,中国人民大学信息学院与数据工程与知识工程教育部重点实验室承办的2019年度VLDB暑期学校(VLDB Summer School 2019)于2019年7月22日在中国人民大学信息楼报告厅隆重举行开班仪式。出席开班仪式的嘉宾有:中…

13 种高维向量检索算法全解析!数据库顶会 VLDB 2021 论文作者干货分享

编者按: 以图搜图、商品推荐、社交推荐等社会场景中潜藏了大量非结构化数据,这些数据被工程师们表达为具有隐式语义的高维向量。为了更好应对高维向量检索这一关键问题,杭州电子科技大学计算机专业硕士王梦召等人探索并实现了「效率和精度最…

Deep Upsupervised Cardinality Estimation 解读(2019 VLDB)

Deep Upsupervised Cardinality Estimation 解读(2019 VLDB) Deep Upsupervised Cardinality Estimation选择度(基数)估计问题定义选择度和数据联合分布的关系深度自回归模型如何计算joint distribution编码解码策略具体执行属性的…

VLDB 2021 COCO 论文阅读

Epoch-based Commit and Replication in Distributed OLTP Databases 记录一篇之前读过的论文。。。 整篇论文的核心在于Epoch,将传统数据库以事务为粒度提交和恢复变成了以Epoch为粒度来提交和恢复,这样做的好处就是可以减少2PC和同步复制的时间开销。…

【区块链论文整理】VLDB篇

VLDB (Very Large Data Base)是数据库三大顶会之一,近几年也发表了不少水平很高的文章。本文主要针对VLDB 会议中区块链相关的论文进行简单整理。 2021 SlimChain: Scaling Blockchain Transactions through Off-Chain Storage and Parallel Processing…

入选数据库顶会 VLDB:如何有效降低产品级内存数据库快照尾延迟?

阿里云操作系统团队、阿里云数据库团队以及上海交通大学新兴并行计算研究中心一起合作的论文 “Async-fork: Mitigating Query Latency Spikes Incurred by the Fork-based Snapshot Mechanism from the OS Level” 被数据库系统领域顶会 Very Large Data Bases Conferences (V…