TiDB HTAP

article/2025/9/25 1:47:50

TiDB 数据库 HTAP 概述

HTAP技术

image-20221122193133401

OLAP和OLTP带来了多副本的问题。

HTAP的要求

image-20221122194512555

HTAP的架构

image-20221122194714637

异步复制,不参与投票。

HTAP的特性

  • 行列混合
    • 列存支持基于主键的实时更新
    • TiFlash作为列存副本
    • OLTP和OLAP业务隔离
  • 智能选择(CBO自动或者人工选择),SQL走TiKV还是TiFlash
  • MPP架构,加速

MPP

  • 大量数据的join聚合查询
  • 所有MPP计算都在TiFlash节点内存中完成
  • 目前只支持等值连接
  • Enforce_mpp帮助验证是否可以使用MPP

混合工作负载场景

image-20221122201333455

流式计算

image-20221122201552858

TiFlash

架构

image-20221122201756021

Raft Learner:复制。TiFlash是不能写入数据的。

主要功能

  • 异步复制
  • 一致性读取
  • 引擎智能选择
  • 计算加速

image-20221122202402659

只从TiKV的leader角色复制Log,写入是否成功,leader并不管。

一致性读取

image-20221122203239548

记录自己读取到哪个序号了,去询问leader,raft log的序号。wait

智能选择

image-20221122203624146


http://chatgpt.dhexx.cn/article/wGSuFe2x.shtml

相关文章

如何给一个 HTAP 数据库做基准测试?StoneDB学术分享会第4期

在最新一届国际数据库顶级会议 ACM SIGMOD 2022 上,来自清华大学的李国良和张超两位老师发表了一篇论文:《HTAP Database: What is New and What is Next》,并做了 《HTAP Database:A Tutorial 的专项报告。这几期学术分享会的文章&#xff0…

​网易游戏实时 HTAP 计费风控平台建设

本文整理自网易互娱资深工程师, Flink Contributor, CDC Contributor 林佳,在 FFA 实时风控专场的分享。本篇内容主要分为五个部分: 实时风控业务会话会话关联的 Flink 实现HTAP 风控平台建设提升风控结果数据能效发展历程与展望未来 众所周知&#xff…

黄东旭:开发者的“技术无感化”时代,从 Serverless HTAP 数据库开始 | PingCAP DevCon 2022

12 月 1 日,以"去发现,去挑战"为主题的 PingCAP DevCon 2022 主论坛在线上成功举办,为数万观众带来一场技术盛宴。PingCAP 联合创始人兼 CTO 黄东旭,在大会上分享了“The Future of Database”的主题演讲,分…

快速上手TiDB,体验全新的一栈式实时HTAP数据库

📢📢📢📣📣📣 哈喽!大家好,我是【IT邦德】,江湖人称jeames007,10年DBA工作经验 一位上进心十足的【大数据领域博主】!😜😜…

CNCC技术论坛|分布式数据库HTAP的探索与实践

本文转载自微信公众号“中国计算机学会” 编者按 12月8-10日,中国计算机协会即将全线上举办CNCC2022,大会覆盖118个计算行业、人工智能、云计算、教育、安全等30个热门专业领域的技术论坛,700余位专家将着力探讨计算技术与未来宏观发展趋势&a…

TiDB:基于 Raft 的 HTAP 数据库

目录 1. 简介 2. 基于 Raft 的 HTAP 3. TiDB 架构 4. Multi-Raft 存储 5. HTAP 引擎 6. 实验 7. 相关工作 8. 结论 摘要 混合事务和分析处理(HTAP)数据库处理事务查询和分析查询时需要隔离,以消除它们之间的干扰。要实现这一点&…

云原生 HTAP -- Cloud-Native Transactions and Analytics in SingleStore

文章目录 背景1 存算分离2. 统一的表存储 (行列混存)2.1 二级索引2.2 行锁 3. 自适应查询引擎3.1 Segment skipping 实现3.2 Filtering 选择 4 性能总结 背景 上篇看了 PolarDB-IMCI 在HTAP的实践,其中提到了其也有借鉴 SingleStore 的实现思…

真正的 HTAP 对用户和开发者意味着什么?

作者 | 杨传辉 OceanBase 关于作者: 杨传辉,OceanBase CTO。2010年作为创始成员之一加入 OceanBase 团队,主导了 OceanBase 历次架构设计和技术研发,从无到有实现 OceanBase 在蚂蚁集团全面落地。同时,他也主导了两次…

HTAP系统架构实践总结

商业上的驱动力 当前市场上对于数据的处理方式越加的注重多种类型的负载混合进行,即对于用户或者业务端来说,有一个统一的处理逻辑或者架构。如对于广告计算,用户画像,分控,物流,地理信息等商业场景下&…

HTAP 应该是一种需求而不是一款产品

HTAP(Hybrid Transaction and Analytical Process,混合事务和分析处理)自2014年明确提出以后成为了很多数据库厂商努力的方向。其实HATP并不新鲜,早年RDB刚兴起时本来就是用一个数据库同时做事务和分析,但随着数据规模…

TiDB数据库HTAP概述

目录 HTAP MPP架构 TiDB的工作负载场景与流式计算场景 例题 HTAP HTAP 同时支持OLTP(在线事务性)OLAP(在线分析性) OLTP:行存 如手机支付 OLAP:列存 如报表,分析传统的OLTP和OLAP解决方…

云原生 HTAP -- PolarDB-IMCI:A Cloud-Native HATP Database

文章目录 0 背景1 IMCI 架构 及 相关组件实现1.1 架构演进的背景1.2 基本架构1.2 基本使用1.4 列索引存储 设计1.5 RW-RO 的数据同步实现1.5.1 CALS1.5.2 2P-COFFER 1.6 计算引擎实现1.7 性能 2 总结 近期除了本职工作之外想要再跟进一下业界在讨论 以及 可落地的方向&#xff…

浅谈“HTAP”

文章转载自: 浅谈“HTAP”,仅用于学习,如有侵权,请联系删除。 HTAP是近些年来比较火的一个概念,下面就聊聊其前世今生及技术特点。 1. 数据应用类别 根据数据的使用特征,可简单做如下划分。在选择技术平台…

HTAP应该是一种需求 而不是一种产品

作者:石臻臻, CSDN博客之星Top5、Kafka Contributor 、nacos Contributor、华为云 MVP ,腾讯云TVP, 滴滴Kafka技术专家 、 LogiKM PMC(改名KnowStreaming)。 LogiKM(改名KnowStreaming) 是滴滴开源的Kafka运维管控平台, 有兴趣一起参与参与开发的同学,但是怕自己能力…

009、体系架构之HTAP

HTAP HTAP技术传统的HTAP解决方案HATP的要求TiDB的HTAP架构TiDB的HTAP特性使用场景 MPP HTAP技术 传统的HTAP解决方案 HATP的要求 可扩展性 分布式事务分布式存储 同时支持OLTP与OLAP 同时支持行存和列存OLTP与OLAP业务隔离 实时性 行存与列存数据实时同步 TiDB的HTAP架构 …

什么是HTAP 阿里云上实现

讲师介绍 梁成辉(城璧),阿里数据库事业部技术专家,阿里分布式数据层中间件TDDL、云产品分布式关系型数据库服务DRDS技术负责人。曾多次担任数据层稳定性负责人并保障双十一TDDL & DRDS的稳定性,目前主要聚焦在DRD…

浅谈 HTAP 混合技术和金融业应用场景

近年来,随着大数据应用场景的快速普及与多样化发展,传统的数据处理方案已愈发难以满足海量数据实时分析的数据处理需求。针对上述挑战,混合事务/分析处理(Hybrid Transaction and Analytical Process,HTAP)…

聊聊 HTAP 的前世今生

随着现代社会大型实时分析应用的逐渐流行,关系型数据库已经难以处理高并发的事务请求。商业层面上,当全球进入数字化时代,数字化技术渗透到各行各业,同时产生了海量数据,数据的存储和应用是企业决策的重要依据之一&…

深入浅出理解什么是HTAP

关于HTAP HTAP(Hybrid Transactional/Analytical Processing)混合事务 / 分析处理。这里的HTAP就是常见的比较经典的OLAP和OLTP的处理场景的结合体。即可解决OLTP在线事务处理场景,还可以解决OLAP在线分析场景。Gartner也认为HTAP数据库将成为数据库领域的一个重要的发展趋…

《穿越计算机的迷雾》第二版再版说明

《穿越计算机的迷雾》2018年已经再版(第2版)。 转载于:https://www.cnblogs.com/leec/p/8099391.html