SpringBoot整合MyBatis实现分库分表方案

article/2025/4/24 10:29:52

SpringBoot整合MyBatis实现分库分表方案

SpringBoot整合Mybatis实现分库分表查询, 这里不讲解SpringBoot如何整合MyBatis ,只讲解SpringBoot整合MyBatis下的实现分库分表的实现方案。

#大概的实现思路

  • 我们知道MyBatis的mapper对象是通过动态代理创建出来的,通过SqlSession中的getMapper方法来获取mapper的实例对象,SqlSession是通过SqlSessionFactory对象创建出来,SqlSessionFactory中维护着DataSource对象, 如果我们有很多库,我们是不是可以创建多个SqlSessionFactory,不同的数据源来创建多个SqlSessionFactory对象然后维护于Spring容器中。当我们需要指定库查询的时候,只需要找到Spring容器中不同的SqlSessionFactory的Bean对象是不是就可以实现数据源路由切换。

比如我有一个租户系统,每个租户数据都放在不同的库里面,每个租户和Spring容器中的SqlSessionFactory有所关联 ,当我们租户登录的时候找到SqlSessionFactory对象,这样以后的查询使用SqlSessionFactory去查询,这样是不是就可以实现多租户分库案例。

在这里插入图片描述
上图是一个我从数据库查询出来的多数据源配置信息,我们拿到这些信息,然后每一个都创建一个DataSource对象,然后在创建成美一个SqlSessionFactory对象,最终我们创建SqlSessionTemplate对象,因为我们最终只要拿到SqlSessionTemplate对象去执行相应操作就好了.
在这里插入图片描述
上图是数据库中配置数据库源信息,beanName对象 就是我们Spring容器中实例的名字,比如我们获取容器中名字为base1,就是获取到了这条记录创建的数据源。
在这里插入图片描述
在这里插入图片描述
如上两个截图是一个执行的aop,这里我们切点是Mapper对象,我们先拿到Mapper注解上是否存在@Sharding注解,如果存在我们就会走下面的分库,我们会拿到当前登录的用户数据,拿到对象的beanName字段,然后在容器中找到对应的SpringTemplate对象,然后就像相对应的操作。
在这里插入图片描述
这里测试用例,是用了50的并发去测试的,测试性能结果还算可行,我这里查询了50个库,每个库中就一个表 ,这个表有100多万数据,50个库 相当于5000多万数据测试了。性能不错,查询秒级以内。
在这里插入图片描述
这里还是有个问题,如果使用了事务,这个事务还是已默认的数据源去执行的。
在这里插入图片描述
源码github地址: https://github.com/yangzh994/mysql-shardingV2


http://chatgpt.dhexx.cn/article/omonm4qv.shtml

相关文章

一种简单易懂的 MyBatis 分库分表方案

转载自:https://www.toutiao.com/a6667422100141113863/?tt_fromweixin&utm_campaignclient_share&wxshare_count1&timestamp1552387200&appnews_article&utm_sourceweixin&iid65271942423&utm_mediumtoutiao_android&group_id666…

MyBatis分库分表方案

SpringMVC MyBatis分库分表方案 mybatis作为流行的ORM框架,项目实际使用过程中可能会遇到分库分表的场景。mybatis在分表,甚至是同主机下的分库都可以说是完美支持的,只需要将表名或者库名作为动态参数组装sql就能够完成。但是多余分在不同…

数据库分库分表解决方案

数据库分库分表解决方案 前言MySQL表大小限制分表方案垂直分表水平分表按月分表MySQL分区表 分库方案按业务分库按表分库 拆分后的问题及常见的解决方案垂直拆分跨库Join问题全局表数据同步 分布式事务问题MySQL XA事务本地消息表 水平拆分分布式全局唯一ID分片键选择数据扩容跨…

MySQL-分库分表方案

一、业务背景 随着业务量的增长,数据量会随之增长,单机情况下DB服务器会面临存储容量、连接数和处理能力的瓶颈,当数据量达到一定量级时,DDL变更时间变长,影响业务可用性,此时需要考虑分库分表&#xff0c…

最全的MySQL分库分表方案总结

“ 面试中我们经常会碰到的关于分库分表的问题!今天就给大家介绍互联网公司常用 MySQL 分库分表方案!希望对大家的面试有所帮助! 数据库瓶颈 不管是 IO 瓶颈,还是 CPU 瓶颈,最终都会导致数据库的活跃连接数增加&#x…

python mysql分库分表_干货 : 常用MySQL分库分表方案

Python乱炖推荐搜索后浪 动森玩家 送书 数据分析 一、数据库瓶颈 不管是IO瓶颈,还是CPU瓶颈,最终都会导致数据库的活跃连接数增加,进而逼近甚至达到数据库可承载活跃连接数的阈值。在业务Service来看就是,可用数据库连接少甚至无连接可用。接下来就可以想象了吧(并发量、吞…

php分库分表技术,谈谈关于分库分表的方案

1. 数据库瓶颈 不管是IO瓶颈,还是CPU瓶颈,最终都会导致数据库的活跃连接数增加,进而逼近甚至达到数据库可承载活跃连接数的阈值。在业务Service来看就是,可用数据库连接少甚至无连接可用。接下来就可以想象了吧(并发量、吞吐量、崩溃)。 1.1. IO瓶颈 第一种:磁盘读IO瓶颈,…

这应该是全网最全的分库分表方案了

一、数据库瓶颈 不管是IO瓶颈,还是CPU瓶颈,最终都会导致数据库的活跃连接数增加,进而逼近甚至达到数据库可承载活跃连接数的阈值。在业务Service来看就是,可用数据库连接少甚至无连接可用。接下来就可以想象了吧(并发…

MySQL第六讲 MySQL分库分表方案

分库分表概念 分库分表就是业务系统将数据写请求分发到master节点,而读请求分发到slave 节点的一种方案,可以大大提高整个数据库集群的性能。但是要注意,分库分表的 一整套逻辑全部是由客户端自行实现的。而对于MySQL集群,数据主从…

分库分表方案对比

房晓乐(葱头巴巴),PingCAP 资深解决方案架构师,前美团数据库专家、美团云 CDS 架构师、前搜狗、百度资深 DBA,擅长研究各种数据库架构,NewSQL 布道者。 原文链接:https://dbaplus.cn/news-11-1…

分库分表方案

一、为什么要进行分库分表 当MySQL单表数据量过大,比如超过5千万条的时候,读写性能变得很差。而且常规的优化手段已经不起作用了,比如:SQL调优、添加索引、主从复制、读写分离。这时候就需要用到MySQL终极优化方案 — 分库分表。 …

分库分表设计方案

一、为什么要分库分表? 随着业务的不断发展,数据量不断增加,因此数据操作,如增删改查的开销也会越来越大,原来基于单库单表的设计已经不能满足存储需求,数据库随时面临爆库风险; 再加上物理服务器的资源有…

python:numpy的corrcoef计算相关系数

corrcoef(x, yNone, rowvarTrue, biasnp._NoValue, ddofnp._NoValue)函数常用的是前三个参数,x和y分别是需要计算相关系数的两个随机变量,当rowvar为True(默认情况)时,每一行代表一个随机变量,否则每一列代表一个随机变量。 该函数…

python 计算相关性系数np.corrcoef()

计算相关性是分析连续型与连续型双变量的常用方法,散点图只能直观的显示双变量(特征)之间的关系,但并不能说明关系的强弱,而相关性可以对变量之间的关系进行量化分析。 相关性系数的公式如下: 相关性系数…

Numpy库 numpy.corrcoef()函数

相关系数公式: 其他详见: 1. Python Numpy库 numpy.corrcoef()函数讲解 2. 协方差、方差、标准差、协方差系数 3. 标准差、方差、协方差三者的表示意义

MATLAB中的corrcoef函数求两个向量的相关系数。

 想用MATLAB中的corrcoef函数求两个向量的相关系数。 比如A[1 2 3];B[5 3 7]; r corrcoef(A,B)可以求出相关系数是0.5.为什么两个向量的元素都要是3个以上才行?而只有两个元素的向量如A[1 2];B[5 3];不管怎么随机的取,相关系数都…

使用numpy计算相关系数矩阵:np.corrcoef()

【小白从小学Python、C、Java】 【Python-计算机等级考试二级】 【Python-数据分析】 使用numpy计算相关系数矩阵 np.corrcoef() 选择题 关于以下代码说法错误的是? import numpy as np array1np.array([[1,2,3], [2,3,4], [2,3,3], [4,3,2], [4,3,3]]) print(array1) print(&…

matlab 计算相关系数,MATLAB如何使用corrcoef函数计算样本数据的相关系数

MATLAB如何使用corrcoef函数计算样本数据的相关系数 【语法说明】 Rcorrcoef(X):如果X为向量,函数返回1;如果X为mn 矩阵,则以每行为观测值,每列为一个随机变量计算相关系数,返回一个nn对称矩阵。假设协方差…

numpy.corrcoef()函数讲解

numpy.corrcoef(x, y无, rowvar True, 偏差<无值>, ddof<无值>) 【学习参考】&#xff1a;Python Numpy库 numpy.corrcoef()函数讲解_Hello_xzy_Word的博客-CSDN博客_numpy.corrcoef x&#xff1a; array_like&#xff0c;包含多个变量和观测值的1-D或2-D数组&a…

Python Numpy库 numpy.corrcoef()函数讲解

例子&#xff1a; 代码&#xff1a; import numpy as npArray1 [[1, 2, 3], [4, 5, 6]] Array2 [[11, 25, 346], [734, 48, 49]] Mat1 np.array(Array1) Mat2 np.array(Array2) correlation np.corrcoef(Mat1, Mat2) print("矩阵1\n", Mat1) print("矩阵…