MySQL分库分表

article/2025/8/22 3:30:27

1.分库分表产生的背景

采用单数据库存储存在以下的性能瓶颈:

①IO瓶颈:热点数据太多,数据库缓存不足,产生大量磁盘IO,效率较低。请求数据太多,带宽不够,网络IO瓶颈。

②CPU瓶颈:排序,分组,连接查询,聚合统计等SQL会消耗大量的CPU资源,请求数太多,CPU出现瓶颈。

分库分表将数据分散存储,使得单一数据库/表的数据量变小来缓解单一数据库的性能问题。

2.拆分策略:

水平拆分:水平分表,水平分库;

垂直拆分:垂直分表,垂直分库。

垂直分库:以表为依据,根据业务将不同表拆分到不同库中。特点:①每个库的表结构都不一样;②每个库的数据也不一样;③所有库的并集是全量数据。下图为垂直分库案例。

watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBA5YyX57-f,size_20,color_FFFFFF,t_70,g_se,x_16

垂直分表:以字段为依据,根据字段属性将不同字段拆分到不同表中。特点:①每个表的结构都不一样;②每个表的数据也不一样,一般通过一列(主键/外键)关联;③所有表的并集是全量数据。下图为垂直分表的案例,两张表以主键id关联。

watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBA5YyX57-f,size_20,color_FFFFFF,t_70,g_se,x_16水平分库:以字段为依据,按照一定策略,将一个库的数据拆分到多个库中。特点:①每个库的表结构都一样;②每个库的数据都不一样;③所有库的并集是全量数据。下图为水平分库。

watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBA5YyX57-f,size_20,color_FFFFFF,t_70,g_se,x_16

水平分表:以字段为依据,按照一定的策略,将一个表的数据拆分到多个表中。特点:①每个表的表结构都一样;②每个表的数据都不一样;③所有表的并集是全量数据。下图为水平分表。

watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBA5YyX57-f,size_20,color_FFFFFF,t_70,g_se,x_16

 3.分库分表的实现技术

shardingJDBC:基于AOP原理,在应用程序对本地执行的SQL进行拦截,解析,改写,路由处理。需要自行编码配置实现,支持java语言,性能较高。

MyCat:数据库分库分表中间件,不用调整代码即可实现分库分表,支持多种语言,性能不及shardingJDBC。

4.MyCat

MyCat是一个数据库中间件,使用MyCat也很简单,把我们之前连接数据库换成连接MyCat即可。

6698af3262854497a052961c0d52d0ac.png

 mycat的核心概念:mycat中不存储数据,数据都是存储在节点主机中的,依照分片规则来决定存储在哪个节点主机;mycat只是一个逻辑结构,它是无感知的。watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBA5YyX57-f,size_20,color_FFFFFF,t_70,g_se,x_16

 5.mycat分片配置

schema.xml涵盖了mycat的逻辑库,逻辑表,分片规则,分片节点及数据源的配置。主要包含三组标签:schema标签,datanode标签,datahost标签

watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBA5YyX57-f,size_20,color_FFFFFF,t_70,g_se,x_16

 配置完schema.xml后,还要修改同级目录的server.xml文件,将schemas换成我们配置的schema;

server.xml配置文件包含了mycat的系统配置信息,主要有两个重要标签:system,user

watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBA5YyX57-f,size_20,color_FFFFFF,t_70,g_se,x_16

rule.xml中定义所有拆分表的规则,在使用过程中可以灵活使用分片算法,或对同一个分片算法使用不同的参数,它让分片过程可配置化,主要保护局两类标签:tableRule,function。

watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBA5YyX57-f,size_20,color_FFFFFF,t_70,g_se,x_16

 6.mycat启动

mycat启动后,占用端口8066。 

7.mycat分片

垂直分库

mycat分片情况下,涉及跨库查询(跨分片查询)会报错,因为mycat无法确定该SQL应该路由到哪个分片。

解决方案:将涉及的表设置为全局表(在schema.xml中table标签加上type='global',dataNode为所有的节点),mycat对全局表任意节点进行DML时,所有节点都会同步进行

水平分表

水平分表的核心在于分片规则,只有水平分表才需要填写分片规则。

8.常见的分片规则:

范围分片:根据指定的字段及其配置的范围与数据节点的对应情况,来决定该数据属于哪一个分片。rule='auto-sharding-long';

取模分片:根据指定的字段与节点数量进行求模运算,根据运算结果,来决定该数据属于哪一个分片。rule='mod-long';

 

一致性hash分片:根据指定的字段,算出字段的hash值,根据运算结果,来决定该数据属于哪一个分片。rule='sharding-by-murmur';

 

枚举分片:通过在配置文件中配置可能的枚举值,指定数据分布到不同数据节点上,本规则适用于按照省份,性别,状态拆分数据等业务。rule='sharding-by-intfile-enumstatus';

超过枚举值的数据要指定一个节点存储。

 

应用指定分片:运行阶段由应用自主决定路由到哪个分片,直接根据字符串(必须是数字)计算分片号。rule='sharding-by-substring';

 

固定分片hash算法:该运算类似于十进制的求模运算。例如:取id的二进制低10位与1111111111进行位&运算。rule='sharding-by-long-hash';

位&运算:同为1则为1,有一个0则为0。例如:
1010101010&1111111111 = 1010101010

特点:①如果是求模,连续的值分别分配到各个不同的分片,但是此算法会将连续的值可能分配到相同的分片,降低事务处理的难度;②可以均匀分配,也可以非均匀分配;③分片字段必须为数字类型

字符串hash解析分片:截取字符串中的指定位置的字符串,进行hash算法,算出分片。rule='sharding-by-stringhash'; 

 按(天)日期分片:从开始时间开始,每10天(可以自行设置)为一个分片,到达结束时间后,会重复开始分片插入。rule='sharding-by-date'; 

配置表的DataNode的分片,必须和分片规则数量一致,例如2022-01-01到2022-12-31,每10天一个分片,一共需要37个分片。因此,开始日期和结束日期一定要注意选择。

 按自然月分片:按照月份分片,每个自然月为一个分片。rule='sharding-by-month'; 

配置表的DataNode的分片,必须和分片规则数量一致,例如2022-01-01到2022-12-31,一共需要12个分片。因此,开始日期和结束日期一定要注意选择。

 9.mycat的监控与管理

9.1、mycat的原理

每一个节点都只存储了一部分数据,因此,聚合处理、排序处理和分页处理等在各个节点处理是没有任何意义的,mycat会先将查询的结果合并然后再进行处理。

 9.2、mycat管理

mycat默认开通2个端口,可以在server.xml中进行修改。8066数据访问端口和9066数据库管理端口。

 9.3、mycat图形化界面mycat-eye

mycat-eye是对mycat-server提供监控服务,功能不局限于对mycat-server使用,通过JDBC连接对mycat,mysql监控,监控远程服务器(目前仅限于linux系统)的cpu、内存、网络、磁盘。

mycat-eye运行过程中需要依赖zookeeper,因此需要先安装zookeeper。

 


http://chatgpt.dhexx.cn/article/rL12HOR7.shtml

相关文章

MySQL-如何分库分表?一看就懂

一、为什么要分库分表 如果一个网站业务快速发展,那这个网站流量也会增加,数据的压力也会随之而来,比如电商系统来说双十一大促对订单数据压力很大,Tps十几万并发量,如果传统的架构(一主多从)&…

黑盒测试是用什么软件,黑盒测试的主要方法和常用的工具有什么?

黑盒测试是测试人员比较常用的一种测试方法,它主要是通过测试来检测每个功能是否都能正常使用的。黑盒测试的方法是有许多的,但有一些方法是比较主要的,比如边界值测试、等价类划分、决策表以及场景法等等。除了方法外,黑盒测试工…

黑盒测试简介和常用方法

黑盒测试简介和常用方法 定义 黑盒测试俗称功能测试,它站在用户的角度上主要是对系统或软件的界面、功能上进行测试。它把程序当成不能打开的盒子,这样不用考虑系统内部的逻辑和内部特性,只需要在程序的外部接口上检查程序是否能按照软件设计…

黑盒测试的测试方法

一般我们在做软件测试的时候,会遇到黑盒测试,白盒测试,我们今天主要说的是黑盒测试的 主要测试方法有那些。接下来就是干货了。 最常见的是 边界值 等价类 错误推测法 场景法 因果图法 判定表组成法 正交实验设计 下面是详细的解释: 前言:在期末考到来的时候复习…

黑盒测试方法一

黑盒测试是一种基于证明功能需求和用户最终需求的测试方法,设计黑盒测试用例的方法有如下8种: 等价类划分法。 边界值分析法。 因果图法。 判定表驱动测试。 场景法。 功能图法。 错误推测法。 正交试验设计法。 在实际测试工作中,往往是综合…

软件测试方法——黑盒测试九大用例设计方法

笔者:风起怨江南 出处:https://blog.csdn.net/JackMengJin 笔者原创,文章转载需注明,如果喜欢请点赞关注,感谢支持! 导读:面试和工作必备的九大黑盒软件测试方法。 目录 黑盒测试九大用例设计…

黑盒测试简介与其测试方法

黑盒测试又叫功能测试、数据驱动测试或基于需求规格说明书的功能测试。该类测试注重于测试软件的功能性需求。把测试对象看作一个黑盒子,完全不考虑程序内部的逻辑结构和内部特性,只依据程序的《需求规格说明书》,检查程序的功能是否符合它的…

简述软件黑盒测试的方法,简述什么是黑盒测试方法

黑盒(又叫功能测试、数据驱动测试): 1.黑盒测试发现错误类型: 功能错误和遗漏 界面错误 数据库错误 性能错误 初始化和终止错误 2.黑盒测试:程序外部接口进行的 3.黑盒测试就是根据功能需求来设计测试用例,验证软件是否按照预期要…

黑盒(功能)测试基本方法

1、黑盒测试的概念 1、什么是黑盒测试 (1)黑盒测试又称功能测试、数据驱动测试或基于规格说明书的测试,是一种从用户观点出发的测试。 (2)测试人员把被测程序当作一个黑盒子。 2、黑盒测试主要测试的错误类型有 &…

黑盒测试方法详细介绍

一、等价类 1.关于等价类 2.等价类思想设计测试用例的步骤 二、边界值 1.关于边界点 2.使用边界值分析法设计测试用例步骤 三、因果图 1.关于因果图 2.关于判定表 3.使用因果图设计测试用例的步骤 1.分析所有可能的输入和可能的输出。 2.找出输入和输出之间的对应关系…

八大黑盒测试方法总结【超详细】

一、等价类划分法1.定义2. 划分等价类2.1 有效等价类2.2 无效等价类 3. 划分等价类的标准4.划分等价类的方法5.设计测试用例6. 三角形实例 二、边界值分析法1. 定义2. 与等价划分的区别3.边界值分析方法的考虑4. 常见的边界值5.边界值分析6.基于边界值分析方法选择测试用例的原…

软件测试常用的黑盒测试方法有哪些,简述什么是黑盒测试方法(最常用的黑盒测试方法)...

黑盒(又叫功能测试、数据驱动测试): 1.黑盒测试发现错误类型: 功能错误和遗漏 界面错误 数据库错误 性能错误 初始化和终止错误 2.黑盒测试:程序外部接口进行的 3.黑盒测试就是根据功能需求来设计测试用例,验证软件是否按照预期要…

什么是黑盒测试?它的常用方法有哪些?

什么是黑盒测试?它的常用方法有哪些? 一:什么是黑盒测试? 黑盒测试(Black-box Testing),黑盒测试又称为“功能测试”,是将测试对象看做一个黑盒,在并不考虑软件产品的内…

黑盒测试方法

什么是黑盒测试 黑盒测试又称功能测试,是在不了解程序内部结构和内部特性的情况下进行的测试方法,黑盒测试只验证程序是否能按照需求规格说明书的规定正常使用,是否能适当的接收数据并给出适当的输出结果,如错误提示,或…

常用黑盒测试方法

定义:黑盒测试又称功能测试。黑盒测试就是把测试对象看成一个不能打开的黑盒子,在完全不考虑程序的内部结构和处理过程的情况下,只依据程序的需求规格说明书,检查程序的功能是否符合他的功能说明。 黑盒测试主要发现的缺陷类型&a…

数据库安装教程

自用记录,参考链接:mysql数据库安装(详细)_体会!的博客-CSDN博客_mysql安装教程 mysql安装:“rootlocalhost is created with an empty password !”,而非A temporary password is generated f…

数据库的安装过程

SQL Server 是 Microsoft 开发的一个关系数据库管理系统(RDBMS),现在是世界上最为常用的数,据库之一; SQL Server 是一个高度可扩展的产品,可以从一个单一的笔记本电脑上运行的任何东西或以高倍云服务器网络,或在两者之…

数据库入门——手把手教你安装数据库

1,网上搜索 SQL server 下载数据库 2,点击setup,安装--全新SQL server独立安装 3,勾选使用检查更新,点击下一步 4,默认选项不用管,直接点击下一步 5,点击下一步 6,选择接…

数据库——sql server安装教程

1.双击sql server 的setup.exe安装文件,进入【SQL Server 安装中心】 2.点击界面左侧的【安装】,然后点击右侧的【全新SQL Server 独立安装或向现有安装添加功能】 3.产品密钥,默认选择即可,直接下一步操作 4.勾选接受条款复选框 …

安装my sql数据库安装详细教程

安装my sql数据库安装详细教程 安装my sql数据库安装详细教程一、安装二、环境变量配置三、验证安装 安装my sql数据库安装详细教程 一、安装 1、双击打开上面我们下载好的安装包,进行如下所示操作: 2.这里我们需要将左侧我们需要安装的功能选择移到右…