Mysql·分库分表

article/2025/8/22 2:36:06

Mysql·分库分表

      • 在mysql中新建数据库用以表分库分表
      • mycat解压后配置文件参数
        • server.xml 主要配置mycat服务的参数,比如端口号,myact用户名和密码使用的逻辑数据库等
        • rule.xml 主要配置路由策略,主要有分片的片键,拆分的策略(取模还是按区间划分等)
        • schema.xml 文件主要配置数据库的信息,例如逻辑数据库名称,物理上真实的数据源以及表和数据源之间的对应关系和路由策略等。
      • 启动mycat

window环境下运行的,实际生产推荐在Linux上运行
使用前软件环境搭建
下载安装mysql:mysql-5.7.36-winx64
下载安装jdk-8u251-windows-x64
下载安装Mycat-server-1.3.0.3-release-20150527095523-win

在mysql中新建数据库用以表分库分表

create database yy01;
create database yy02;
create database yy03;select 'yy01',a.* from yy01.item a union all 
select 'yy02',a.* from yy02.item a union all 
select 'yy03',a.* from yy03.item a  ;explain select * from item ;

mycat解压后配置文件参数

在这里插入图片描述

server.xml 主要配置mycat服务的参数,比如端口号,myact用户名和密码使用的逻辑数据库等

<?xml version="1.0" encoding="UTF-8"?><!DOCTYPE mycat:server SYSTEM "server.dtd">
<mycat:server xmlns:mycat="http://org.opencloudb/"><system><property name="defaultSqlParser">druidparser</property></system><user name="test"><property name="password">test</property><property name="schemas">TESTDB</property>	</user><user name="user"><property name="password">user</property><property name="schemas">TESTDB</property><property name="readOnly">true</property></user>
</mycat:server>

rule.xml 主要配置路由策略,主要有分片的片键,拆分的策略(取模还是按区间划分等)

<?xml version="1.0" encoding="UTF-8"?><!DOCTYPE mycat:rule SYSTEM "rule.dtd">
<mycat:rule xmlns:mycat="http://org.opencloudb/"><tableRule name="role1"><rule><columns>id</columns><algorithm>mod-long</algorithm></rule>
</tableRule><tableRule name="rule1">
<rule>
<columns>id</columns>
<algorithm>func1</algorithm>
</rule>
</tableRule>
<tableRule name="rule2">
<rule>
<columns>user_id</columns>
<algorithm>func1</algorithm>
</rule>
</tableRule>
<tableRule name="sharding-by-intfile">
<rule>
<columns>sharding_id</columns>
<algorithm>hash-int</algorithm>
</rule>
</tableRule>
<tableRule name="auto-sharding-long">
<rule>
<columns>id</columns>
<algorithm>rang-long</algorithm>
</rule>
</tableRule>
<tableRule name="mod-long">
<rule>
<columns>id</columns>
<algorithm>mod-long</algorithm>
</rule>
</tableRule>
<tableRule name="sharding-by-murmur">
<rule>
<columns>id</columns>
<algorithm>murmur</algorithm>
</rule>
</tableRule><function name="murmur" class="org.opencloudb.route.function.PartitionByMurmurHash"><property name="seed">0</property><!-- 默认是0--><property name="count">2</property><!-- 要分片的数据库节点数量,必须指定,否则没法分片--><property name="virtualBucketTimes">160</property><!-- 一个实际的数据库节点被映射为这么多虚拟节点,默认是160倍,也就是虚拟节点数是物理节点数的160倍--></function><function name="hash-int" class="org.opencloudb.route.function.PartitionByFileMap"><property name="mapFile">partition-hash-int.txt</property></function><function name="rang-long" class="org.opencloudb.route.function.AutoPartitionByLong"><property name="mapFile">autopartition-long.txt</property></function><function name="mod-long" class="org.opencloudb.route.function.PartitionByMod"><!-- how many data nodes  --><property name="count">3</property></function><function name="func1" class="org.opencloudb.route.function.PartitionByLong"><property name="partitionCount">8</property><property name="partitionLength">128</property></function>
</mycat:rule>

schema.xml 文件主要配置数据库的信息,例如逻辑数据库名称,物理上真实的数据源以及表和数据源之间的对应关系和路由策略等。

<?xml version="1.0"?>
<!DOCTYPE mycat:schema SYSTEM "schema.dtd">
<mycat:schema xmlns:mycat="http://org.opencloudb/"><schema name="TESTDB" checkSQLschema="false" sqlMaxLimit="100"><!-- 数据同步 --><table name="users" primaryKey="id"  dataNode="dn1,dn2,dn3" />  <!-- 数据分库分表 rule="role1" 分库分表规则分库表数据union all在一起是全量数据 如不设置默认所有库下数据相同 --><table name="item" primaryKey="id" dataNode="dn1,dn2,dn3" rule="role1" /> <table name="users2" primaryKey="id" dataNode="dn1,dn2,dn3" rule="role1" /><table name="orders" primaryKey="id" dataNode="dn1,dn2,dn3" rule="role1" /></schema><dataNode name="dn1" dataHost="localhost1" database="yy01" /><dataNode name="dn2" dataHost="localhost1" database="yy02" /><dataNode name="dn3" dataHost="localhost1" database="yy03" /><!-- <dataNode name="jdbc_dn1" dataHost="jdbchost" database="db1" /><dataNode name="jdbc_dn2" dataHost="jdbchost" database="db2" /><dataNode name="jdbc_dn3" dataHost="jdbchost" database="db3" />--><dataHost name="localhost1" maxCon="1000" minCon="10" balance="0"writeType="0" dbType="mysql" dbDriver="native"><heartbeat>select user()</heartbeat><!-- can have multi write hosts --><writeHost host="hostM1" url="localhost:3306" user="root"password="123456"><!-- can have multi read hosts --><!-- <readHost host="hostS1" url="localhost:3306" user="root" password="123456" /> --></writeHost><!-- <writeHost host="hostM2" url="localhost:3316" user="root" password="123456"/> --></dataHost></mycat:schema>

启动mycat

在这里插入图片描述
在这里插入图片描述
出现此画面说明启动成功

验证结果
在命令行访问mycat逻辑数据库,采用如下的命令:
mysql -utest -ptest -h127.0.0.1 -P8066 -DTESTDB
现在通过数据库查询数据库和表,发现只有逻辑数据库TESTDB而不是yy01, yy02, yy03;而且表也是统一显示的,而不是分布在不同的实际数据库中。参考图片如下:
在这里插入图片描述

在TESTDB库中创建item表用以测试
drop table if exists item ; 
CREATE TABLE item (  id INT NOT NULL AUTO_INCREMENT,  d_name varchar(100) ,  d_date varchar(100)  default '0000-00-00 00:00:00',  PRIMARY KEY (id)  
)AUTO_INCREMENT= 1 ENGINE=InnoDB DEFAULT CHARSET=utf8;insert into item (id,d_name,d_date) values(01,'秦时明月',now());
insert into item (id,d_name,d_date) values(02,'秦时明月',now());
insert into item (id,d_name,d_date) values(03,'秦时明月',now());
insert into item (id,d_name,d_date) values(04,'秦时明月',now());
insert into item (id,d_name,d_date) values(05,'秦时明月',now());
insert into item (id,d_name,d_date) values(06,'秦时明月',now());
insert into item (id,d_name,d_date) values(07,'秦时明月',now());
insert into item (id,d_name,d_date) values(08,'秦时明月',now());
insert into item (id,d_name,d_date) values(09,'秦时明月',now());
insert into item (id,d_name,d_date) values(10,'秦时明月',now());
insert into item (id,d_name,d_date) values(11,'秦时明月',now());
insert into item (id,d_name,d_date) values(12,'秦时明月',now());
insert into item (id,d_name,d_date) values(13,'秦时明月',now());select 'yy01',a.* from yy01.item a union all 
select 'yy02',a.* from yy02.item a union all 
select 'yy03',a.* from yy03.item a  ;explain select * from item ;

如下图所示,mycat配置分库分表成功
在这里插入图片描述




http://chatgpt.dhexx.cn/article/dB5vhkYc.shtml

相关文章

MySQL分库分表,何时分?怎么分?

&#x1f468;‍&#x1f393; 博主介绍&#xff1a; IT邦德&#xff0c;江湖人称jeames007&#xff0c;10年DBA工作经验 中国DBA联盟(ACDU)成员&#xff0c;目前从事DBA及程序编程 &#xff08;Web\java\Python&#xff09;工作&#xff0c;主要服务于生产制造 现拥有 Oracle …

MySQL 分库分表实践

文章目录 一、为什么要分库分表二、库表太大产生的问题三、垂直拆分1. 垂直分库2. 垂直分表 四、水平分表1. 配置水平分表2. 测试水平分表 一、为什么要分库分表 数据库架构演变 刚开始多数项目用单机数据库就够了&#xff0c;随着服务器流量越来越大&#xff0c;面对的请求也…

MySQL如何分库分表

1. 我们为什么需要分库分表 在分库分表之前&#xff0c;就需要考虑为什么需要拆分。我们做一件事&#xff0c;肯定是有充分理由的。所以得想好分库分表的理由是什么。我们现在就从两个维度去思考它&#xff0c;为什么要分库&#xff1f;为什么要分表&#xff1f; 1.1 为什么要…

MYSQL 之 分库分表

分库分表 关系型数据库本身⽐较容易成为系统瓶颈&#xff0c;单机存储容量、连接数、处理能⼒都有限。当单表的数据量 达到2000W或100G以后&#xff0c;由于查询维度较多&#xff0c;即使添加从库、优化索引&#xff0c;做很多操作时性能仍下降严 重。此时就要考虑对其进⾏切分…

MySQL-分库分表详解(一)

♥️作者&#xff1a;小刘在C站 ♥️个人主页&#xff1a; 小刘主页 ♥️努力不一定有回报&#xff0c;但一定会有收获加油&#xff01;一起努力&#xff0c;共赴美好人生&#xff01; ♥️学习两年总结出的运维经验&#xff0c;以及思科模拟器全套网络实验教程。专栏&#xf…

如何实现MYSQL分库分表

我们学习了在高并发下数据库的一种优化方案&#xff1a;读写分离&#xff0c;它就是依靠主从复制的技术使得数据库实现了数据复制为多份&#xff0c;增强了抵抗大量并发读请求的能力&#xff0c;提升了数据库的查询性能的同时&#xff0c;也提升了数据的安全性。当某一个数据库…

MySQL 分库分表,写得太好了!

https://www.toutiao.com/a6603492496779510276/?tt_frommobile_qq&utm_campaignclient_share&timestamp1549497188&appnews_article&utm_sourcemobile_qq&iid59568063679&utm_mediumtoutiao_android&group_id6603492496779510276 Mysql分库分表…

MySQL数据库怎么进行分库分表?

▲ 点击上方“分布式实验室”关注公众号 回复“1”抽取纸质技术书 提起分库分表&#xff0c;对于大部分服务器开发来说&#xff0c;其实并不是一个新鲜的名词。随着业务的发展&#xff0c;我们表中的数据量会变的越来越大&#xff0c;字段也可能随着业务复杂度的升高而逐渐增多…

超详细的mysql分库分表方案

我们都知道&#xff0c;随着业务量的增长&#xff0c;数据量也会随之增加&#xff0c;这个时候就需要关注业务大表&#xff0c;因为大表会影响查询性能&#xff0c;DDL变更时间很长&#xff0c;影响业务的可用性&#xff0c;同时导致从库延迟很大&#xff0c;如果业务做了读写分…

Mysql分库分表实战(一)——一文搞懂Mysql数据库分库分表

由于业务需要&#xff0c;需要对Mysql数据库进行分库分表&#xff0c;故而最近一直在整理分库分表的相关知识&#xff0c;现手上的工作也告一段落了&#xff0c;抽空将自己最近的学习结果转化为博文&#xff0c;分享给大家&#xff0c;本博文打算做成一个系列的&#xff0c;首先…

MySQL 常用分库分表方案,都在这里了!

点击上方关注 “终端研发部” 设为“星标”&#xff0c;和你一起掌握更多数据库知识 转自&#xff1a;尜尜人物 www.cnblogs.com/littlecharacter/p/9342129.htm 一、数据库瓶颈 不管是IO瓶颈&#xff0c;还是CPU瓶颈&#xff0c;最终都会导致数据库的活跃连接数增加&#xff0…

MySQL:互联网公司常用分库分表方案汇总

作者&#xff1a;尜尜人物 原文&#xff1a;cnblogs.com/littlecharacter/p/9342129.html 本文目录 一、数据库瓶颈 IO瓶颈CPU瓶颈 二、分库分表 水平分库水平分表垂直分库垂直分表 三、分库分表工具 四、分库分表步骤 五、分库分表问题 非partition key的查询问题非partition…

MySQL分库分表

1.分库分表产生的背景 采用单数据库存储存在以下的性能瓶颈&#xff1a; ①IO瓶颈&#xff1a;热点数据太多&#xff0c;数据库缓存不足&#xff0c;产生大量磁盘IO&#xff0c;效率较低。请求数据太多&#xff0c;带宽不够&#xff0c;网络IO瓶颈。 ②CPU瓶颈&#xff1a;排…

MySQL-如何分库分表?一看就懂

一、为什么要分库分表 如果一个网站业务快速发展&#xff0c;那这个网站流量也会增加&#xff0c;数据的压力也会随之而来&#xff0c;比如电商系统来说双十一大促对订单数据压力很大&#xff0c;Tps十几万并发量&#xff0c;如果传统的架构&#xff08;一主多从&#xff09;&…

黑盒测试是用什么软件,黑盒测试的主要方法和常用的工具有什么?

黑盒测试是测试人员比较常用的一种测试方法&#xff0c;它主要是通过测试来检测每个功能是否都能正常使用的。黑盒测试的方法是有许多的&#xff0c;但有一些方法是比较主要的&#xff0c;比如边界值测试、等价类划分、决策表以及场景法等等。除了方法外&#xff0c;黑盒测试工…

黑盒测试简介和常用方法

黑盒测试简介和常用方法 定义 黑盒测试俗称功能测试&#xff0c;它站在用户的角度上主要是对系统或软件的界面、功能上进行测试。它把程序当成不能打开的盒子&#xff0c;这样不用考虑系统内部的逻辑和内部特性&#xff0c;只需要在程序的外部接口上检查程序是否能按照软件设计…

黑盒测试的测试方法

一般我们在做软件测试的时候,会遇到黑盒测试,白盒测试,我们今天主要说的是黑盒测试的 主要测试方法有那些。接下来就是干货了。 最常见的是 边界值 等价类 错误推测法 场景法 因果图法 判定表组成法 正交实验设计 下面是详细的解释: 前言:在期末考到来的时候复习…

黑盒测试方法一

黑盒测试是一种基于证明功能需求和用户最终需求的测试方法&#xff0c;设计黑盒测试用例的方法有如下8种&#xff1a; 等价类划分法。 边界值分析法。 因果图法。 判定表驱动测试。 场景法。 功能图法。 错误推测法。 正交试验设计法。 在实际测试工作中&#xff0c;往往是综合…

软件测试方法——黑盒测试九大用例设计方法

笔者&#xff1a;风起怨江南 出处&#xff1a;https://blog.csdn.net/JackMengJin 笔者原创&#xff0c;文章转载需注明&#xff0c;如果喜欢请点赞关注&#xff0c;感谢支持&#xff01; 导读&#xff1a;面试和工作必备的九大黑盒软件测试方法。 目录 黑盒测试九大用例设计…

黑盒测试简介与其测试方法

黑盒测试又叫功能测试、数据驱动测试或基于需求规格说明书的功能测试。该类测试注重于测试软件的功能性需求。把测试对象看作一个黑盒子&#xff0c;完全不考虑程序内部的逻辑结构和内部特性&#xff0c;只依据程序的《需求规格说明书》&#xff0c;检查程序的功能是否符合它的…