高并发场景设计与解决方案

article/2025/10/7 2:12:24

所有的平台或系统建设和维护中,高并发场景都存在,解决方案也是各种样式,本次将从初中、高二个场景给出设计方案。

本文内容:高并发场景定义,高并发初中级场景与解决方案,高并发高级场景与解决方案

第一部分:高并发场景定义

高并发场景是生产端和消费端共同作用,在短时间内产生大量的并发和大量的消费能力下,保障系统平稳,安全,数据准确。

常见场景:商品秒杀,数据采集与同步,抢红包等

第二部分:高并发初中级场景与解决方案

商品秒杀,数据采集与同步属于较低层次的高并发场景,采用的设计,一般用无锁化(异步),乐观锁(版本号)解决,也无需分布式应用分片。

例如4年前设计和实现的案例(方案设计2):10万+QPS秒杀限流组件设计与实现_luozhonghua2000的博客-CSDN博客_10w qps

方案设计1:使用内存操作替代实时的 DB 事务操作。

这个方案的优点是用内存操作替代磁盘操作,提高了并发性能。

但是缺点也很明显,在内存操作成功但 DB 持久化失败,或者内存 Cache 故障的情况下,DB 持久化会丢数据。

方案设计2:使用乐观锁替代悲观锁。

所谓悲观锁,是关系数据库管理系统里的一种并发控制的方法。它可以阻止一个事务以影响其他用户的方式来修改数据。如果一个事务执行的操作对某行数据应用了锁,那只有当这个事务把锁释放,其他事务才能够执行与该锁冲突的操作。对应于上文分析中的“并发请求抢锁”行为。

所谓乐观锁,它假设多用户并发的事务在处理时不会彼此互相影响,各事务能够在不产生锁的情况下处理各自影响的那部分数据。在提交数据更新之前,每个事务会先检查在该事务读取数据后,有没有其他事务又修改了该数据。如果其他事务有更新的话,正在提交的事务会进行回滚。

商品“秒杀”系统中,乐观锁的具体应用方法,是在 DB 的“库存”记录中维护一个版本号。在更新“库存”的操作进行前,先去 DB 获取当前版本号。在更新库存的事务提交时,检查该版本号是否已被其他事务修改。如果版本没被修改,则提交事务,且版本号加 1;如果版本号已经被其他事务修改,则回滚事务,并给上层报错。

这个方案解决了“并发请求抢锁”的问题,可以提高 DB 的并发处理能力

第三部分:高并发高级场景与解决方案

初中级场景足够应付一般的高并发问题,但是发生在金融领域或应急管理领域,要求数据保证acid,这些方案不可接受的。

比如抢红包场景,会出现:

  1. 如果拆红包采用乐观锁,那么在并发抢到相同版本号的拆红包请求中,只有一个能拆红包成功,其他的请求将事务回滚并返回失败,给用户报错,用户体验完全不可接受。
  2. 如果采用乐观锁,将会导致第一时间同时拆红包的用户有一部分直接返回失败,反而那些“手慢”的用户,有可能因为并发减小后拆红包成功,这会带来用户体验上的负面影响。
  3. 如果采用乐观锁的方式,会带来大数量的无效更新请求、事务回滚,给 DB 造成不必要的额外压力。

方案设计-分而治之,弹性架构

1. 系统垂直 SET 化,分而治之

红包用户发一个红包时,红包系统生成一个 ID 作为这个红包的唯一标识。接下来这个红包的所有发红包、抢红包、拆红包、查询红包详情等操作,都根据这个 ID 关联。

红包系统根据这个红包 ID,按一定的规则(如按 ID 尾号取模等),垂直上下切分。切分后,一个垂直链条上的逻辑 Server 服务器、DB 统称为一个 SET。

各个 SET 之间相互独立,互相解耦。并且同一个红包 ID 的所有请求,包括发红包、抢红包、拆红包、查详情详情等,垂直 stick 到同一个 SET 内处理,高度内聚。通过这样的方式,系统将所有红包请求这个巨大的洪流分散为多股小流,互不影响,分而治之,如下图所示。

这个方案解决了同时存在海量事务级操作的问题,将海量化为小量。

2. 逻辑 Server 层将请求排队,解决 DB 并发问题。

红包系统是资金交易系统,DB 操作的事务性无法避免,所以会存在“并发抢锁”问题。但是如果到达 DB 的事务操作(也即拆红包行为)不是并发的,而是串行的,就不会存在“并发抢锁”的问题了。

按这个思路,为了使拆红包的事务操作串行地进入 DB,只需要将请求在 Server 层以 FIFO(先进先出)的方式排队,就可以达到这个效果。从而问题就集中到 Server 的 FIFO 队列设计上。

红包系统设计了分布式的、轻巧的、灵活的 FIFO 队列方案。其具体实现如下:

首先,将同一个红包 ID 的所有请求 stick 到同一台 Server。

上面 SET 化方案已经介绍,同个红包 ID 的所有请求,按红包 ID stick 到同个 SET 中。不过在同个 SET 中,会存在多台 Server 服务器同时连接同一台 DB(基于容灾、性能考虑,需要多台 Server 互备、均衡压力)。

为了使同一个红包 ID 的所有请求,stick 到同一台 Server 服务器上,在 SET 化的设计之外,红包系统添加了一层基于红包 ID hash 值的分流,如下图所示。

其次,设计单机请求排队方案。

将 stick 到同一台 Server 上的所有请求在被接收进程接收后,按红包 ID 进行排队。然后串行地进入 worker 进程(执行业务逻辑)进行处理,从而达到排队的效果,如下图所示。

最后,增加 memcached 控制并发。

为了防止 Server 中的请求队列过载导致队列被降级,从而所有请求拥进 DB,系统增加了与 Server 服务器同机部署的 memcached,用于控制拆同一个红包的请求并发数。

具体来说,利用 memcached 的 CAS 原子累增操作,控制同时进入 DB 执行拆红包事务的请求数,超过预先设定数值则直接拒绝服务。用于 DB 负载升高时的降级体验。

通过以上三个措施,系统有效地控制了 DB 的“并发抢锁”情况。

3. 双维度库表设计,保障系统性能稳定

红包系统的分库表规则,初期是根据红包 ID 的 hash 值分为多库多表。随着红包数据量逐渐增大,单表数据量也逐渐增加。而 DB 的性能与单表数据量有一定相关性。当单表数据量达到一定程度时,DB 性能会有大幅度下降,影响系统性能稳定性。采用冷热分离,将历史冷数据与当前热数据分开存储,可以解决这个问题。

处理微信红包数据的冷热分离时,系统在以红包 ID 维度分库表的基础上,增加了以循环天分表的维度,形成了双维度分库表的特色。

具体来说,就是分库表规则像 db_xx.t_y_dd 设计,其中,xx/y 是红包 ID 的 hash 值后三位,dd 的取值范围在 01~31,代表一个月天数最多 31 天。

通过这种双维度分库表方式,解决了 DB 单表数据量膨胀导致性能下降的问题,保障了系统性能的稳定性。同时,在热冷分离的问题上,又使得数据搬迁变得简单而优雅。

综上所述,红包系统在解决高并发问题上的设计,主要采用了 SET 化分治、请求排队、双维度分库表等方案,使得单组 DB 的并发性能提升了 8 倍左右,取得了很好的效果。


http://chatgpt.dhexx.cn/article/o0LegJp7.shtml

相关文章

数据库关系代数运算

转载:https://wenku.baidu.com/view/f301bf48e45c3b3567ec8b75.html

数据库关系模型与关系运算---2022.2.13

关于外模式,模式,内模式的理解 可以看到用不同的语句进行表示: 关系的性质 概念模式/内模式映射是物理独立性的关键; 外模式/概念模式映射就是逻辑独立性的关键 候选键 (最小组成的超键) 关系中的一个属性组,其值…

关系运算

关系代数是一种抽象的查询语言,它用对关系的运算来表达查询。关系运算的运算对象是关系,运算结果亦是关系,关系代数的运算符包括两类:传统的集合运算和专门的关系运算两类。 传统的集合运算是从关系的水平方向,即行的角…

数据库之间的关系

数据库的设计 1.多表之间的关系 1.一对一:如 人和身份证 ,一个人只能一张身份证,一个身份证只能对应一个人 2.一对多:如 部门和员工 一个部门有多个员工,一个员工只能对应一个部门 3.多对多&#xff1a…

数据库(笔记)——关系代数以及相关运算

关系代数 关系代数及其运算符集合运算符关系运算符 总结 关系代数及其运算符 关系代数是一种抽象的查询语言,通过关系的运算来表达查询 关系代数常使用的运算符由如下几类 集合运算符:∪(并)、∩(交)、-&…

数据库关系代数详解

文章目录 数据库关系代数1. 传统的关系运算2. 专门的关系运算2.1 关系运算中的基础概念2.2 元组的连接2.3 象集(除法运算重要工具) 3 数学上的运算3.1 并运算3.2 差运算3.3 交运算3.4 笛卡尔积(万能运算) 4. 关系运算4.1 表格简介4.2 选择(Se…

数据库专门的关系运算

本文章用表 选择运算(从行的角度运算) 选择又称为限制,选择运算符的含义: 在关系R中选择满足给定条件的诸元组 投影(从列的角度运算) 投影运算符的含义:从表中选出若干属性列组成新的关系 注…

数据库关系代数运算之连接

联接有三种:θ联接和自然联接(这里是算术比较符),外联接。 (1) θ联接 (从R和S的笛卡儿乘积中选取满足条件“iθj”的元组 •(2)自然联接(naturaljoin) 两个…

数据库关系代数中除运算讲解和SQL语句的实现

【数据库原理】关系代数篇——除法讲解 陈宇超 编辑总结: 除法运算的一般形式示意图 如何计算RS呢,首先我们引进”象集”的概念,具体意义看下面的陈述即可理解 关系R和关系S拥有共同的属性B、C , RS得到的属性值就是关系R包含而关系S不包含的属性&am…

关系代数基本运算 数据库

操作目录 关系代数的八种基本运算并交差笛卡尔积选择投影连接除总结 关系代数的八种基本运算 并 并,就是将两个或多个表并连起来,需要注意的就是在并的过程中,我们并不是直接一笼统地并起来,而且还要对相同的元祖进行合并&#x…

数据库系统概论----关系运算之除运算

这一周都在复习《数据库系统概论》这门课,看到关系运算的这一节时,对于除运算不是很理解。 通过百度,我觉得也没有得到比较容易理解的讲解。 这里呢,我就分享一下我的理解吧,如有差错的地方,还希望看到这…

数据库-----关系运算

关系数据库概述 相关术语 ◎在现实世界中,描述一个事物常常要抽取其若干特征来表示,这些特征称为属性,如用学号、性别、班级等来描述学生。每个属性的取值范围对应一个值的集合,称为属性的域,如性别的域是{男&#x…

数据库基础--关系代数中的除法运算

除法运算的定义: 这个概念的描述的非常抽象,刚开始学习的同学完全不知所云。这里通过一个实例来说明除法运算的求解过程 设有关系R、S 如图所示,求RS 的结果 求解步骤过程: 第一步:找出关系R和关系S中相同的属…

数据库的运算

数据库的运算可分为集合运算和关系运算。 一、集合运算 • 从关系的水平方向迚行; • 包括,幵、交、差、笛卡尔积运算。 • 幵运算(R U S):可实现数据的揑入。 • 差运算(R–S):主…

关系数据库:专门关系运算

专门关系运算有:选择,投影,连接,除运算。 1.选择从关系中找出满足给定条件的所有元组称为选择,其中条件是用逻辑表达式给出的,逻辑表达式为真时元组被选取。 选择运算记为δF(R)&am…

详解【数据库】关系代数基本运算

文章目录 五中基本的关系代数操作并(Union)差(Difference)广义笛卡尔积(Extended Cartesian Product)投影(Projection)选择(Selection) 连接等值连接自然连接…

数据库关系运算——除运算

书上给“除运算”的定义是: 设关系R除以关系S的结果为关系T,则T包含所有在R但不在S中的属性及其值,且T的元组与S的元组的所有组合都在R中。 我对此不是很理解。 直到看到这样的解读,方才恍然大悟:

【数据库】关系代数基本运算

前言 关系代数是以关系为运算对象的一组高级运算的集合。由于关系定义为属性个数相同的元组的集合,因此集合代数的操作就可以引入到关系代数中。关系代数中的操作可以分为两类:传统的关系操作,并、差、交、笛卡尔积(乘&#xff09…

数据库原理之关系数据库关系运算

关系数据库关系运算 选择投影链接除运算 选择运算 选择运算是从关系R中选取使逻辑表达式F为 真的元组,是从行的角度进行的运算 投影运算 投影操作主要是从列的角度进行运算,但投影之后不仅取消可原关系中的某些列,而且还可能取消某些元组…

数据库之关系数据库的关系运算

关系运算的机理有什么用 我们学习关系运算的机理,对我们理解数据库查询操作非常重要 所以我们进行关系操作时很大程度上需要明白关系操作以及关系之间的逻辑 在我们进行数据库查询操作时,如何规范的使用数据库语言,如何进行选择时能够消除我…