ShardingSphere简介与分表使用

article/2025/10/27 19:18:03

一、ShardingSphere简介

1、简介

ShardingSphere 已于 2020 年 4 月 16 日成为 Apache 软件基金会的顶级项目。

ShardingSphere 是一套开源的分布式数据库中间件解决方案。

ShardingSphere 产品定位为 Database Plus，旨在构建异构数据库上层的标准和生态圈。

它关注如何充分合理地利用数据库的计算和存储能力，而并非实现一个全新的数据库。

ShardingSphere 站在数据库的上层视角，关注他们之间的协作多于数据库自身。

它由ShardingSphere-JDBC、ShardingSphere-Proxy 和 ShardingSphere-Sidecar这3款相互独立的产品组成。

  • ShardingSphere-JDBC：定位为轻量级 Java 框架，在 Java 的 JDBC 层提供的额外服务。
  • ShardingSphere-Proxy：定位为透明化的数据库代理端，提供封装了数据库二进制协议的服务端版本，用于完成对异构语言的支持。
  • ShardingSphere-Sidecar：定位为 Kubernetes 的云原生数据库代理，以 Sidecar 的形式代理所有对数据库的访问。

2、核心概念

2.1 表概念

1）真实表

在数据库中真实存在的物理表。例如：t_order_0、t_order_1

2）逻辑表

在分片之后，同一类表结构的名称（总成）。例如b_order。

水平拆分的数据库（表）的相同逻辑和数据结构表的总称。例如：订单表根据主键尾数拆分为10张真实表（t_order_0到t_order_9），他们的逻辑表名为t_order。

3）数据节点

在分片之后，由数据源和数据表组成。例如ds0.b_order1

数据分片的最小单元。由数据源名称和数据表组成，例如：ds_0.t_order_0。

4）绑定表
指的是分片规则一致的关系表（主表、子表）。

例如：t_order表和t_order_item表，均按照order_id分片，则此两张表互为绑定表关系。绑定表之间的多表关联查询不会出现笛卡尔积关联，关联查询效率将大大提升。

举例说明，如果SQL为：

SELECT i.* FROM t_order o JOIN t_order_item i ON o.order_id=i.order_id WHERE o.order_id in (10, 11);

在不配置绑定表关系时，假设分片键order_id将数值10路由至第0片，将数值11路由至第1片，那么路由后的SQL应该为4条，它们呈现为笛卡尔积：

SELECT i.* FROM t_order_0 o JOIN t_order_item_0 i ON o.order_id=i.order_id WHERE o.order_id in (10, 11);SELECT i.* FROM t_order_0 o JOIN t_order_item_1 i ON o.order_id=i.order_id WHERE o.order_id in (10, 11);SELECT i.* FROM t_order_1 o JOIN t_order_item_0 i ON o.order_id=i.order_id WHERE o.order_id in (10, 11);SELECT i.* FROM t_order_1 o JOIN t_order_item_1 i ON o.order_id=i.order_id WHERE o.order_id in (10, 11);

在配置绑定表关系后，路由的SQL应该为2条：

SELECT i.* FROM t_order_0 o JOIN t_order_item_0 i ON o.order_id=i.order_id WHERE o.order_id in (10, 11);SELECT i.* FROM t_order_1 o JOIN t_order_item_1 i ON o.order_id=i.order_id WHERE o.order_id in (10, 11);

其中t_order在FROM的最左侧，ShardingSphere将会以它作为整个绑定表的主表。 所有路由计算将会只使用主表的策略，那么t_order_item表的分片计算将会使用t_order的条件。故绑定表之间的分区键要完全相同。

5）广播表

广播表是指所有的分片数据源中都存在的表，表结构和表中的数据在每个数据库中均完全一致。

适用于数据量不大且需要与海量数据的表进行关联查询的场景，这些表没必要做分片。

例如：例如字典表、省份信息等，因为他们数据量不大，而且这种表可能需要与海量数据的表进行关联查询。

2.2 分片概念

1）分片键
用于分片的数据库字段，是将数据库（表）水平拆分的关键字段。

例如：将订单表中的订单主键的尾数取模分片，则订单主键为分片字段。 SQL中如果无分片字段，将执行全路由，性能较差。 除了对单分片字段的支持，ShardingSphere也支持根据多个字段进行分片。

2）分片算法
通过分片算法（ShardingAlgorithm）将数据分片，支持通过=、>=、<=、>、<、BETWEEN和IN分片。
分片算法需要应用方开发者自行实现，可实现的灵活度非常高。

目前提供4种分片算法。由于分片算法和业务实现紧密相关，因此并未提供内置分片算法，而是通过分片策略将各种场景提炼出来，提供更高层级的抽象，并提供接口让应用开发者自行实现分片算法。

  1. 精确分片算法，
    对应PreciseShardingAlgorithm，用于处理使用单一键作为分片键的=与IN进行分片的场景。需要配合StandardShardingStrategy使用。
  2. 范围分片算法
    对应RangeShardingAlgorithm，用于处理使用单一键作为分片键的BETWEEN AND、>、<、>=、<=进行分片的场景。需要配合StandardShardingStrategy使用。
  3. 复合分片算法
    对应ComplexKeysShardingAlgorithm，用于处理使用多键作为分片键进行分片的场景，包含多个分片键的逻辑较复杂，需要应用开发者自行处理其中的复杂度。需要配合ComplexShardingStrategy使用。
  4. Hint分片算法
    对应HintShardingAlgorithm，用于处理使用Hint行分片的场景。需要配合HintShardingStrategy使用。

3）分片策略
包含分片键和分片算法，由于分片算法的独立性，将其独立抽离。真正可用于分片操作的是分片键 + 分片算法，也就是分片策略。

目前提供5种分片策略：

  1. 标准分片策略，对应StandardShardingStrategy。
  2. 复合分片策略，对应ComplexShardingStrategy。
  3. 行表达式分片策略，对应InlineShardingStrategy。
  4. Hint分片策略，对应HintShardingStrategy。
  5. 不分片策略，对应NoneShardingStrategy。

4）分片策略配置
对于分片策略存有数据源分片策略和表分片策略两种维度，两种策略的API完全相同。

  • 数据源分片策略

用于配置数据被分配的目标数据源。

  • 表分片策略

用于配置数据被分配的目标表，由于表存在与数据源内，所以表分片策略是依赖数据源分片策略结果的。

二、简单入门

ShardingJDBC是整个ShardingSphere最早也是最为核心的一个功能模块，它的主要功能就是数据分片和读写分离等。

下面通过一个单数据源分表的实例来了解 ShardingSphere的使用。

  • 创建数据库 sharding_db1
  • 在数据库创建两张表 course_1 和 course_2
  • 约定分片规则：如果添加课程 id 是偶数，则把数据添加 course_1表，如果是奇数添加到 course_2表。
CREATE TABLE course_1 (id BIGINT(20) PRIMARY KEY,gmt_create timestamp NULL DEFAULT NULL,name VARCHAR(50) NOT NULL,user_id BIGINT(20) NOT NULL,status varchar(10) NOT NULL
);CREATE TABLE course_2 (id BIGINT(20) PRIMARY KEY,gmt_create timestamp NULL DEFAULT NULL,name VARCHAR(50) NOT NULL,	user_id BIGINT(20) NOT NULL,status varchar(10) NOT NULL
);

1、引入依赖

创建一个springboot项目。

        <!-- shardingJDBC核心依赖 --><dependency><groupId>org.apache.shardingsphere</groupId><artifactId>sharding-jdbc-spring-boot-starter</artifactId><version>4.1.1</version></dependency><!--druid连接池--><dependency><groupId>com.alibaba</groupId><artifactId>druid</artifactId><version>1.2.8</version></dependency><!-- mysql连接驱动 --><dependency><groupId>mysql</groupId><artifactId>mysql-connector-java</artifactId><version>8.0.23</version></dependency><!--mybatis-plus依赖--><dependency><groupId>com.baomidou</groupId><artifactId>mybatis-plus-boot-starter</artifactId><version>3.4.1</version></dependency>

2、编写代码

创建实体类，mapper。这里使用 MybatisPlus 比较简单，CRUD基本满足我们的示例。
我们重点关注分库分表的数据落库。

3、application.properties 配置文件

在项目 application.properties 配置文件中进行 ShardingSphere配置。

# 配置真实数据源
spring.shardingsphere.datasource.names=db1
# 配置第1个数据源
spring.shardingsphere.datasource.db1.type=com.alibaba.druid.pool.DruidDataSource
spring.shardingsphere.datasource.db1.driver-class-name=com.mysql.cj.jdbc.Driver
spring.shardingsphere.datasource.db1.url=jdbc:mysql://localhost:3306/sharding_db1?useUnicode=true&characterEncoding=utf8&useSSL=true&serverTimezone=GMT
spring.shardingsphere.datasource.db1.username=root
spring.shardingsphere.datasource.db1.password=123456# 指定表的分布情况
spring.shardingsphere.sharding.tables.course.actual-data-nodes=db1.course_$->{1..2}
# 指定表的主键生成策略，雪花算法
spring.shardingsphere.sharding.tables.course.key-generator.column=id
spring.shardingsphere.sharding.tables.course.key-generator.type=SNOWFLAKE
spring.shardingsphere.sharding.tables.course.key-generator.props.worker.id=1##指定分片策略，约定id值为偶数添加到 course_1表，奇数添加到 course_2表。
#表策略
spring.shardingsphere.sharding.tables.course.table-strategy.inline.sharding-column=id
spring.shardingsphere.sharding.tables.course.table-strategy.inline.algorithm-expression=course_$->{id%2+1}# 打开shardingsphere的sql日志输出。
spring.shardingsphere.props.sql.show=truespring.main.allow-bean-definition-overriding=true

4、测试代码

1） 保存

    @Testpublic void testSave() throws InterruptedException {for (int i = 0; i < 20; i++) {Course course = new Course();course.setGmtCreate(new Date());course.setName("java");course.setUserId(1001L + i);course.setStatus("1");TimeUnit.MILLISECONDS.sleep(50);int count = courseMapper.insert(course);System.out.println("id ->" + course.getId());}}

数据按照我们的分表规则落库ok，

2）查询

    @Testpublic void testGetById() {QueryWrapper<Course> wrapper = new QueryWrapper<Course>();
//        wrapper.eq("id",1513890338544734210L);wrapper.in("id",1513890338544734210L, 1513890342613209090L);List<Course> courses = courseMapper.selectList(wrapper);System.out.println(courses.size());courses.forEach(course -> System.out.println(course));}

在这里插入图片描述

因为使用的是 行表达式分片策略（inline），只支持分片键的=与IN进行分片的场景

wrapper.between(“id”, 1513890338544734210L, 1513890342613209090L);

在这里插入图片描述

到此，ShardingSphere简单使用就算入门了。

参考文章：

  • ShardingSphere官方网址：https://shardingsphere.apache.org/document/current/cn/overview/
  • ShardingSphere基本介绍及核心概念：https://blog.csdn.net/Kiven_ch/article/details/119087048

– 求知若饥，虚心若愚。


http://chatgpt.dhexx.cn/article/efHLcg3f.shtml

相关文章

mysql mybatis分表查询_mybatis 自动分表

mysql mybatis分表查询_mybatis 自动分表

参考： 相关源码已上传至我的 github 欢迎转载，转载请注明出处，尊重作者劳动成果：https://www.cnblogs.com/li-mzx/p/9963312.html 前言 小弟才疏学浅，可能很多问题也没有考虑到，权当抛砖引玉，希望各位大神指点 项目背景： 希望做一个功能，能在sql操作数据库时，根据某个…
阅读更多...
mysql 分区分表_mysql分库分区分表

mysql 分区分表_mysql分库分区分表

一、分表 分表分为水平分表和垂直分表。 水平分表原理&#xff1a; 分表策略通常是用户ID取模&#xff0c;如果不是整数&#xff0c;可以首先将其进行hash获取到整。 水平分表遇到的问题&#xff1a; 1. 跨表直接连接查询无法进行 2. 我们需要统计数据的时候 3. 如果数据…
阅读更多...
Mock平台介绍

Mock平台介绍

Mock平台可以用来模拟接口&#xff0c;具备了get方法&#xff0c;post方法&#xff0c;header&#xff0c;cookie&#xff0c;重定向等功能。 Mock平台的搭建应用于mock框架&#xff0c;在github上可以下载到开源的代码。 下载地址&#xff1a;http://repo1.maven.org/maven2/…
阅读更多...
Mock 框架 Moq 的使用

Mock 框架 Moq 的使用

Intro# Moq 是 .NET 中一个很流vb.net教程行的 Mock 框架&#xff0c;使c#教程用 Mock 框架我python基础教程们可以只针对我java基础教程们关注的代码进行测试&#xff0c;对于sql教程依赖项使用 Mock 对象配置预期的依赖服务的行为。 Moq 是基于 Castle 的动态代理来实现的&…
阅读更多...
mockjs入门

mockjs入门

mockjs 1,mock.js是什么&#xff1f; mockjs是生成随机数据的一款前端工具&#xff0c;用来模拟 Ajax 请求&#xff0c;生成并返回模拟数据 2&#xff0c;为什么用mockjs&#xff1f; 当程序员做项目开发时&#xff0c;前端工程师要请求后端做好的数据时&#xff0c;有可能…
阅读更多...
monkey简介

monkey简介

https://blog.csdn.net/lebang08/article/details/70858532 https://www.cnblogs.com/aland-1415/p/6949964.html https://blog.csdn.net/aisemi/article/details/55254348 一、Monkey 简介 monkey是Android SDK中自带的一个命令行工具&#xff0c;使用Java语言写成&#xf…
阅读更多...
mokey的介绍和使用

mokey的介绍和使用

一、monkey介绍 monkey是Android SDK提供的一个命令行工具&#xff0c;可以简单方便的发送伪随机的用户时间流&#xff0c;对Android APP做压力&#xff08;稳定性、健壮性&#xff09;测试。主要是为了测试APP是否存在无响应和崩溃的情况。 二、monkey的使用 1、前提条件&a…
阅读更多...
APP测试— 测试工具mokey

APP测试— 测试工具mokey

文章目录 1 Mokey概念2 运行Monkey&#xff08;对手机进行300次无规律点击&#xff09;3 Mokey常规参数4 Monkey 事件类参数5 Monkey 约束类参数 1 Mokey概念 1&#xff09;Monkey是Android SDK提供的一个命令行工具&#xff0c;可以简单、方便的运行任何版本的Android模拟器和…
阅读更多...
Kafka配置用户名密码访问

Kafka配置用户名密码访问

1 软件版本 kafka_2.12-2.4.0.tgz&#xff08;带zookeeper&#xff09; 2 kafka服务端部署 2.1 将安装包上传到服务器&#xff0c;并解压 tar zxvf kafka_2.12-2.4.0.tgz -C /datamv kafka_2.12-2.4.0 kafka2.2 修改kafka配置文件 server.properties vim /data/kafka/conf…
阅读更多...
linux 用户名和密码的处理

linux 用户名和密码的处理

1. 创建新用户和密码 # 创建用户 testuser useradd testuser# 给已创建的用户testuser设置密码 passwd testuser# 新创建的用户会在 /home 下创建一个用户目录testuser# 修改用户这个命令的相关参数 usermod --help# 删除用户testuser userdel testuser# 删除用户所在目录rm -…
阅读更多...
用户名，密码登录

用户名，密码登录

1.导入项目需要的依赖&#xff0c;分层 注意&#xff1a;如果你的数据库是5.5的版本&#xff0c;依赖要用低版本的&#xff0c;高版本不稳定&#xff0c;新增的内容不识别&#xff0c;会报各种各样奇葩的错误 2.创建实体类 它的属性要和数据库字段对应 package com.oa.entity…
阅读更多...
实现用户输入用户名和密码登录

实现用户输入用户名和密码登录

题目 实现用户输入用户名和密码登录&#xff0c;当用户名为admin或administrator且密码为666666时&#xff0c;显示“登录成功”&#xff0c;否则显示“登录失败”&#xff0c;登录失败时允许重复输入三次。 实例 参考程序 User1 "admin" User2 "administr…
阅读更多...
计算机用户名和初始密码,电脑默认的用户名和密码是多少

计算机用户名和初始密码,电脑默认的用户名和密码是多少

优质回答 回答者&#xff1a;止树2018 电脑用户默认是没有密码的&#xff0c;除非你设置了&#xff0c;没有设置的前提下&#xff0c;直接按回车键就可以进系统了。 电脑默认的用户是administrator&#xff0c;如果你创建了自己的新用户名&#xff0c;那么&#xff0c;原始管理…
阅读更多...
服务器密码以及用户名怎么修改

服务器密码以及用户名怎么修改

服务器密码以及用户名怎么修改 我是艾西&#xff0c;今天给大家说下服务器密码如何修改 windows2003系统&#xff1a; 1、右键我的电脑&#xff0c;点击“管理”&#xff1a; 2、在“本地用户和组”中打开“用户”&#xff0c;在右侧找到 Administrator 账户进行修改。 200…
阅读更多...
电脑更改开机密码和用户名

电脑更改开机密码和用户名

一、电脑更改开机密码 1、快捷键CtrlAltDel出现以下界面。 2、点击“更改密码”&#xff0c;出现修改密码的界面&#xff0c;输入旧的密码&#xff0c;以及新的密码&#xff0c;确定即可。 二、电脑更改开机用户名 1、打开电脑的”控制面板“。 2、在控制面板中点击“用户帐户…
阅读更多...
基于51单片机的呼吸灯程序编写

基于51单片机的呼吸灯程序编写

利用51单片机编写的呼吸灯小程序&#xff0c;实验程序内容截图分享~
阅读更多...
六、Arduino呼吸灯的实现

六、Arduino呼吸灯的实现

实验所需材料 Arduino UNO面包板LED灯一个330Ω电阻一个 连接示意图 如图所示&#xff0c;实验中我们将LED连接到了带PWM功能的D9引脚。 可以在 Arduino IDE菜单>文件>示例>03.Analog>Fading 打开呼吸灯示例程序&#xff0c;程序如下&#xff1a; int ledPin 9…
阅读更多...
C语言实现呼吸灯（HAL库）

C语言实现呼吸灯（HAL库）

1. 呼吸灯原理 呼吸灯的实现可以通过控制灯的亮度连续变化&#xff0c;当变化的频率大于24帧时&#xff0c;肉眼看上去就会逐渐变暗&#xff0c;逐渐变亮。 2. PWM控制亮度 PWM通过设置亮度在一段时间内的占空比&#xff0c;亮的百分比多&#xff0c;人眼看到的就亮&#xf…
阅读更多...
二、15【FPGA】呼吸灯实现

二、15【FPGA】呼吸灯实现

前言 学习说明此文档为本人的学习笔记&#xff0c;注重实践&#xff0c;关于理论部分会给出相应的学习链接。 学习视频&#xff1a;是根据野火FPGA视频教程——第十八讲 https://www.bilibili.com/video/BV1nQ4y1Z7zN?p3 实战演练 一、设计规划 1.1 实验目标 在开发板上…
阅读更多...
基于FPGA实践之呼吸灯（含程序）

基于FPGA实践之呼吸灯（含程序）

呼吸灯是指灯光在微电脑的控制之下完成由亮到暗的逐渐变化&#xff0c;感觉好像是人在呼吸。 在单片机中我们调节PWM波的占空比可以实现一个周期内高电平占百分比&#xff0c;这个百分比固定就可以调节亮度&#xff0c;这个百分比是动态的&#xff0c;那么灯的亮度也是动态的&…
阅读更多...
推荐文章

Copyright @ 2022~2023