TiDB数据库HTAP概述

article/2025/9/25 2:34:31

目录

HTAP 

MPP架构

TiDB的工作负载场景与流式计算场景

例题 


HTAP 

HTAP 同时支持OLTP(在线事务性)OLAP(在线分析性)

OLTP:行存 如手机支付
OLAP:列存 如报表,分析
传统的OLTP和OLAP解决方案

 高延迟,无法满足实时分析的需求

多副本,维护难度大

 HTAP的要求:

ps:HTAP不适用于高并发的情况,且对大数据级的数据分析没有要求,其次无法保证数据的强一致性

TiDB的HTAP架构

TiDB的HTAP的特性: 

 

MPP架构

MPP架构实现在TiFlash上对于聚合和连接操作的加速(只能在TiFlash,不能在TiKV)

MPP架构中,每个TiFlash作为MPP worker进行并行计算

过程实例: 

 如图执行如上SQL语句,该SQL涉及order表和product表且有连接,过滤,聚合操作

首先,进行过滤操作

对于连接操作,使用hash函数根据连接条件计算hash值,根据hash值将相关的数据进行数据交换,集中在一个TiFlash中

数据交换后,所有连接操作均在同一个TiFlash节点中

类似的,对于聚合操作,利用hash函数根据聚合条件计算hash值,根据hash值将相关的数据再次进行数据交换,集中在一个TiFlash节点中

 根据各个TiFlash节点的计算结果进行聚合后返回TiDB Server

TiDB的工作负载场景与流式计算场景

 混合工作负载场景

传统的流式计算场景

 TiDB的流式计算场景

例题 

1.下面属于HTAP场景特点的是?(请选择3项)

A.在故障恢复方面可以做到RPO=0

B.支持分区特性

C.支持在线业务高并发

D.同时支持OLTP和OLAP业务

E.能够读取到一致性的数据

答案:C,D,E

 解析:HTAP的要求:

(1)可扩展(分布式事务&分布式存储)

(2)需同时满足OLTP和OLAP(支持行存&列存,业务隔离),即选项D,C

(3)实时性(行存与列存实时同步),即选项E

2关于MPP架构,下列说法不正确的是?

A.MPP架构的中间结果都在内存中

B.MPP架构可以作用于TiKV和TiFlash 上的数据

C.MPP架构目前不支持非等值join

D.MPP架构可以对聚合、JOIN等操作加速

答案:B

解析:MPP架构只能实现在TiFlash上对于聚合和连接操作的加速,而不能作用于TiKV


http://chatgpt.dhexx.cn/article/Tp8wLEt1.shtml

相关文章

云原生 HTAP -- PolarDB-IMCI:A Cloud-Native HATP Database

文章目录 0 背景1 IMCI 架构 及 相关组件实现1.1 架构演进的背景1.2 基本架构1.2 基本使用1.4 列索引存储 设计1.5 RW-RO 的数据同步实现1.5.1 CALS1.5.2 2P-COFFER 1.6 计算引擎实现1.7 性能 2 总结 近期除了本职工作之外想要再跟进一下业界在讨论 以及 可落地的方向&#xff…

浅谈“HTAP”

文章转载自: 浅谈“HTAP”,仅用于学习,如有侵权,请联系删除。 HTAP是近些年来比较火的一个概念,下面就聊聊其前世今生及技术特点。 1. 数据应用类别 根据数据的使用特征,可简单做如下划分。在选择技术平台…

HTAP应该是一种需求 而不是一种产品

作者:石臻臻, CSDN博客之星Top5、Kafka Contributor 、nacos Contributor、华为云 MVP ,腾讯云TVP, 滴滴Kafka技术专家 、 LogiKM PMC(改名KnowStreaming)。 LogiKM(改名KnowStreaming) 是滴滴开源的Kafka运维管控平台, 有兴趣一起参与参与开发的同学,但是怕自己能力…

009、体系架构之HTAP

HTAP HTAP技术传统的HTAP解决方案HATP的要求TiDB的HTAP架构TiDB的HTAP特性使用场景 MPP HTAP技术 传统的HTAP解决方案 HATP的要求 可扩展性 分布式事务分布式存储 同时支持OLTP与OLAP 同时支持行存和列存OLTP与OLAP业务隔离 实时性 行存与列存数据实时同步 TiDB的HTAP架构 …

什么是HTAP 阿里云上实现

讲师介绍 梁成辉(城璧),阿里数据库事业部技术专家,阿里分布式数据层中间件TDDL、云产品分布式关系型数据库服务DRDS技术负责人。曾多次担任数据层稳定性负责人并保障双十一TDDL & DRDS的稳定性,目前主要聚焦在DRD…

浅谈 HTAP 混合技术和金融业应用场景

近年来,随着大数据应用场景的快速普及与多样化发展,传统的数据处理方案已愈发难以满足海量数据实时分析的数据处理需求。针对上述挑战,混合事务/分析处理(Hybrid Transaction and Analytical Process,HTAP)…

聊聊 HTAP 的前世今生

随着现代社会大型实时分析应用的逐渐流行,关系型数据库已经难以处理高并发的事务请求。商业层面上,当全球进入数字化时代,数字化技术渗透到各行各业,同时产生了海量数据,数据的存储和应用是企业决策的重要依据之一&…

深入浅出理解什么是HTAP

关于HTAP HTAP(Hybrid Transactional/Analytical Processing)混合事务 / 分析处理。这里的HTAP就是常见的比较经典的OLAP和OLTP的处理场景的结合体。即可解决OLTP在线事务处理场景,还可以解决OLAP在线分析场景。Gartner也认为HTAP数据库将成为数据库领域的一个重要的发展趋…

《穿越计算机的迷雾》第二版再版说明

《穿越计算机的迷雾》2018年已经再版(第2版)。 转载于:https://www.cnblogs.com/leec/p/8099391.html

《穿越计算机的迷雾》第一版说明

 这 本书已经出版,并在实体书店和网上书店铺货。需要的朋友可以上网搜索并购买。 如果你关心这本书,就请移步到 http://www.tianya.cn/publicforum/content/it/1/502390.shtml 。这是我最早发帖的地方,欢迎大家到这…

《穿越计算机的迷雾》读书笔记二

振荡器 电子二极管 电子三极管 触发器 跑马灯 寄存器

《穿越计算机的迷雾》读书笔记九

对于每个扇区来说,真正用于存储用户数据的地方是在扇区头之后,一般有512字节。 指令集: 1.算术运算指令和逻辑运算指令 2.数据传送指令 3.处理器状态控制指令

《穿越计算机的迷雾》读书笔记四

通常,一个能保存很多二进制数的东西叫做存储器。 所有的存储器都有一个共同特点,那就是它们通常都只有一个口。 取数译码器 一条完整的指令总是以操作码开始,后面跟着操作数。

《穿越计算机的迷雾》读书笔记八

中断的意思是在做一件事情的时候临时打了个岔,中途去做另外一件事情,然后再回来。 键盘上的所有按键都被当成字符看待 键盘是为正在运行的软件服务。 显卡 灰度图像 三枪三束显示器 液晶

《穿越计算机的迷雾》读书笔记三

计算机为什么会自动工作(计算)?这种"自动"本质上是怎么发生的? 用继电器制造逻辑门。 电子管 晶体管 脉冲,计数器 多个触发器可以构成一个寄存器 在逻辑电路里,大家共用的公共线路称为总线。

读书笔记-穿越计算机的迷雾

一本了解计算机的入门书,想学“计算机组成与原理”的时候看到的。还有一本书也值得看:《编码的奥秘》 收获 逻辑学 让我意识到逻辑学的重要性,有空可以了解他,当时学离散数据没有认真学,现在都忘了。 逻辑电路的由…

《穿越计算机的迷雾》读书笔记六

运算器 指令集 规律 计算机之所以有用,仅仅是因为我们只让它干有规律的事情。 ROM(只读存储器)

穿越计算机的迷雾--读书笔记三

第五章:从逻辑学到逻辑电路(计算机的基本电路) 逻辑学 : 生活逻辑学举例 两种推理方法:类比推理和归纳推理 逻辑学来由及定义 两种逻辑:演绎逻辑(联言全真则真和选言一真则真)和形式逻辑 思维分类&…

穿越计算机的迷雾--读书笔记五

第十三章:集成电路时代(计算机配件的进一步发展) 电子管和晶体管时代: 要造计算机的困难(资金和体积),和电子管比晶体管的优势:传输速度更快,介绍字节(换算和…