介绍

问题分析

 随着互联网及移动互联网的发展，应用系统的数据量也是成指数式增长，若采用单数据库进行数据存储，存在以下性能瓶颈：

1. IO瓶颈：热点数据太多，数据库缓存不足，产生大量磁盘IO，效率较低。 请求数据太多，带宽不够，网络IO瓶颈。
2. CPU瓶颈：排序、分组、连接查询、聚合统计等SQL会耗费大量的CPU资源，请求数太多，CPU出现瓶颈。

为了解决上述问题，我们需要对数据库进行分库分表处理。

拆分策略

 垂直拆分

垂直分库：以表为依据，根据业务将不同表拆分到不同库中 

• 每个库的表结构都不一样。
• 每个库的数据也不一样。
• 所有库的并集是全量数据。

 垂直分表：以字段为依据，根据字段属性将不同字段拆分到不同表中。

• 每个表的结构都不一样。
• 每个表的数据也不一样，一般通过一列（主键/外键）关联。
• 所有表的并集是全量数据。

水平拆分

• 如果id的值在1-500w之间，数据将会存储在第一个分片数据库中。
• 如果id的值在500w-1000w之间，数据将会存储在第二个分片数据库中。
• 如果id的值在1000w-1500w之间，数据将会存储在第三个分片数据库中。
• 如果id的值超出1500w，在插入数据时，将会报错。

而我们选择的 “auto-sharding-long” 分片规则如下

 0-500W在第一个分片，500W-1000W在第二个分片，1000W-1200W在第三个分片，配置的上限只有1500W，如果超过这个限制就会报错.

Mycat配置

schema.xml

• schema标签
• datanode标签
• datahost标签

schema标签

1. 定义逻辑库

datahost标签

 

• name：唯一标识，供上层标签使用
• maxCon/minCon：最大连接数/最小连接数
• balance：负载均衡策略，取值 0,1,2,3
• writeType：写操作分发方式（0：写操作转发到第一个writeHost，第一个挂了，切换到第二 个；1：写操作随机分发到配置的writeHost）
• dbDriver：数据库驱动，支持 native、jdbc

rule.xml

server.xml

 server.xml配置文件包含了MyCat的系配置信息，主要有两个重要的标签：system、user

1.system标签

 主要配置MyCat中的系统配置信息，对应的系统配置项及其含义，如下：

属性	取值	含义
charset	utf8	设置Mycat的字符集, 字符集需要与MySQL的字符集保持一致
nonePasswordLogin	0,1	0为需要密码登陆、1为不需要密码登陆 ,默认为0，设置为1则需要指定默认账户
useHandshakeV10	0,1	使用该选项主要的目的是为了能够兼容高版本的jdbc驱动, 是否采用HandshakeV10Packet来与client进行通信, 1:是, 0:否
useSqlStat	0,1	开启SQL实时统计, 1 为开启 , 0 为关闭 ; 开启之后, MyCat会自动统计SQL语句的执行情况 ; mysql -h 127.0.0.1 -P 9066 -u root -p 查看MyCat执行的SQL, 执行效率比较低的SQL , SQL的整体执行情况、读写比例等 ; show @@sql ; show @@sql.slow ; show @@sql.sum ;
useGlobleTableCheck	0,1	是否开启全局表的一致性检测。1为开启 ，0为关闭 。
sqlExecuteTimeout	1000	SQL语句执行的超时时间 , 单位为 s ;
sequnceHandlerType	0,1,2	用来指定Mycat全局序列类型，0 为本地文件，1 为数据库方式，2 为时间戳列方式，默认使用本地文件方式，文件方式主要用于测试
sequnceHandlerPattern	正则表达式	必须带有MYCATSEQ或者 mycatseq进入序列匹配流程 注意MYCATSEQ_有空格的情况
subqueryRelationshipCheck	true,false	子查询中存在关联查询的情况下,检查关联字段中是否有分片字段 .默认 false
useCompression	0,1	开启mysql压缩协议 , 0 : 关闭, 1 : 开启
fakeMySQLVersion	5.5,5.6	设置模拟的MySQL版本号
defaultSqlParser		由于MyCat的最初版本使用了FoundationDB的SQL解析器, 在MyCat1.3后增加了Druid解析器, 所以要设置defaultSqlParser属性来指定默认的解析器; 解析器有两个 : druidparser 和 fdbparser, 在MyCat1.4之后,默认是druidparser, fdbparser已经废除了
processors	1,2....	指定系统可用的线程数量, 默认值为CPU核心 x 每个核心运行线程数量; processors 会影响processorBufferPool, processorBufferLocalPercent, processorExecutor属性, 所有, 在性能调优时, 可以适当地修改processors值
processorBufferChunk		指定每次分配Socket Direct Buffer默认值为4096字节, 也会影响BufferPool长度, 如果一次性获取字节过多而导致buffer不够用, 则会出现警告, 可以调大该值
processorExecutor		指定NIOProcessor上共享 businessExecutor固定线程池的大小; MyCat把异步任务交给 businessExecutor线程池中, 在新版本的MyCat中这个连接池使用频次不高, 可以适当地把该值调小
packetHeaderSize		指定MySQL协议中的报文头长度, 默认4个字节
maxPacketSize		指定MySQL协议可以携带的数据最大大小, 默认值为16M
idleTimeout	30	指定连接的空闲时间的超时长度;如果超时,将关闭资源并回收, 默认30分钟
txIsolation	1,2,3,4	初始化前端连接的事务隔离级别,默认为 REPEATED_READ , 对应数字为3 READ_UNCOMMITED=1; READ_COMMITTED=2; REPEATED_READ=3; SERIALIZABLE=4;
sqlExecuteTimeout	300	执行SQL的超时时间, 如果SQL语句执行超时,将关闭连接; 默认300秒;
serverPort	8066	定义MyCat的使用端口, 默认8066
managerPort	9066	定义MyCat的管理端口, 默认9066

2.user标签

 配置MyCat中的用户、访问密码，以及用户针对于逻辑库、逻辑表的权限信息，具体的权限描述方式及配置说明如下：

 privileges 标签的注释放开。 在 privileges 下的schema标签中配置的dml属性配置的是逻辑库的权限。 在privileges的schema下的table标签的dml属性中配置逻辑表的权限。

MyCat分片

垂直拆分

5.应用指定算法

 运行阶段由应用自主决定路由到那个分片 , 直接根据字符子串（必须是数字）计算分片号。

  配置

schema.xml

逻辑表配置:

<!-- 应用指定算法 --> 
<table name="tb_app" dataNode="dn4,dn5,dn6" rule="sharding-by-substring" />

 数据节点配置：

<dataNode name="dn4" dataHost="dhost1" database="itcast" />
<dataNode name="dn5" dataHost="dhost2" database="itcast" />
<dataNode name="dn6" dataHost="dhost3" database="itcast" />

rule.xml分片规则配置：

<tableRule name="sharding-by-substring"><rule><columns>id</columns><algorithm>sharding-by-substring</algorithm></rule>
</tableRule><function name="sharding-by-substring" class="io.mycat.route.function.PartitionDirectBySubString"><property name="startIndex">0</property><!-- zero-based --><property name="size">2</property><property name="partitionCount">3</property><property name="defaultPartition">0</property>
</function>

属性说明：

属性	描述
columns	标识将要分片的表字段
algorithm	指定分片函数与 function 的对应关系
class	指定该分片算法对应的类
startIndex	字符子串起始索引
size	字符长度
partitionCount	分区 ( 分片 ) 数量
defaultPartition	默认分片 ( 在分片数量定义时 , 字符标示的分片编号不在分片数量内时 , 使用默认分片)

6.固定分片hash算法

• 如果是求模，连续的值，分别分配到各个不同的分片；但是此算法会将连续的值可能分配到相同的分片，降低事务处理的难度。
• 可以均匀分配，也可以非均匀分配。
• 分片字段必须为数字类型。

  配置

schema.xml

逻辑表配置:

<!-- 固定分片hash算法 --> 
<table name="tb_longhash" dataNode="dn4,dn5,dn6" rule="sharding-by-long-hash" />

 数据节点配置：

<dataNode name="dn4" dataHost="dhost1" database="itcast" />
<dataNode name="dn5" dataHost="dhost2" database="itcast" />
<dataNode name="dn6" dataHost="dhost3" database="itcast" />

rule.xml分片规则配置：

<tableRule name="sharding-by-long-hash"><rule><columns>id</columns><algorithm>sharding-by-long-hash</algorithm></rule>
</tableRule>
<!-- 分片总长度为1024，count与length数组长度必须一致； -->
<function name="sharding-by-long-hash" class="io.mycat.route.function.PartitionByLong"><!-- 总共三个分片节点 --><property name="partitionCount">2,1</property><!-- 前两个存储256个，第三个512个,第一个0-255，第二个256-511，第三个512-1023 --><property name="partitionLength">256,512</property>
</function>

属性说明：

属性	描述
columns	标识将要分片的表字段
algorithm	指定分片函数与 function 的对应关系
class	指定该分片算法对应的类
partitionCount	分片个数列表
partitionLength	分片范围列表

7.字符串hash解析算法

 截取字符串中的指定位置的子字符串, 进行hash算法， 算出分片。

  配置

schema.xml

逻辑表配置:

<!-- 字符串hash解析算法 --> 
<table name="tb_strhash" dataNode="dn4,dn5" rule="sharding-by-stringhash" />

 数据节点配置：

<dataNode name="dn4" dataHost="dhost1" database="itcast" />
<dataNode name="dn5" dataHost="dhost2" database="itcast" />

rule.xml分片规则配置：

<tableRule name="sharding-by-stringhash"><rule><columns>name</columns><algorithm>sharding-by-stringhash</algorithm></rule>
</tableRule><function name="sharding-by-stringhash" class="io.mycat.route.function.PartitionByString"><property name="partitionLength">512</property><!-- zero-based --><property name="partitionCount">2</property><property name="hashSlice">0:2</property>
</function>

属性说明：

属性	描述
columns	标识将要分片的表字段
algorithm	指定分片函数与 function 的对应关系
class	指定该分片算法对应的类
partitionLength	hash 求模基数 ; length*count=1024 ( 出于性能考虑 )
partitionCount	分区数
hashSlice	hash 运算位 , 根据子字符串的 hash 运算 ; 0 代表 str.length() , -1 代表 str.length()-1 , 大于 0 只代表数字自身 ; 可以理解 为 substring （ start ， end ）， start 为 0 则只表示 0

 8.按天分片算法

  配置

schema.xml

逻辑表配置:

<!-- 按天分片 --> 
<table name="tb_datepart" dataNode="dn4,dn5,dn6" rule="sharding-by-date" />

 数据节点配置：

<dataNode name="dn4" dataHost="dhost1" database="itcast" />
<dataNode name="dn5" dataHost="dhost2" database="itcast" />
<dataNode name="dn6" dataHost="dhost3" database="itcast" />

rule.xml分片规则配置：

<tableRule name="sharding-by-date"><rule><columns>create_time</columns><algorithm>sharding-by-date</algorithm></rule>
</tableRule><function name="sharding-by-date" class="io.mycat.route.function.PartitionByDate"><property name="dateFormat">yyyy-MM-dd</property><property name="sBeginDate">2022-01-01</property><property name="sEndDate">2022-01-30</property><property name="sPartionDay">10</property>
</function><!--从开始时间开始，每10天为一个分片，到达结束时间之后，会重复开始分片插入 配置表的 dataNode 的分片，
必须和分片规则数量一致，例如 2022-01-01 到 2022-12-31 ，每 10天一个分片，一共需要37个分片。 -->

属性说明：

属性	描述
columns	标识将要分片的表字段
algorithm	指定分片函数与 function 的对应关系
class	指定该分片算法对应的类
dateFormat	日期格式
sBeginDate	开始日期
sEndDate	结束日期，如果配置了结束日期，则代码数据到达了这个日期的分片后，会重复从开始分片插入
sPartionDay	分区天数，默认值 10 ，从开始日期算起，每个 10 天一个分区

9.自然月分片

 配置

schema.xml

逻辑表配置:

<!-- 按自然月分片 --> 
<table name="tb_monthpart" dataNode="dn4,dn5,dn6" rule="sharding-by-month" />

 数据节点配置：

<dataNode name="dn4" dataHost="dhost1" database="itcast" />
<dataNode name="dn5" dataHost="dhost2" database="itcast" />
<dataNode name="dn6" dataHost="dhost3" database="itcast" />

rule.xml分片规则配置：

<tableRule name="sharding-by-month"><rule><columns>create_time</columns><algorithm>partbymonth</algorithm></rule>
</tableRule><function name="partbymonth" class="io.mycat.route.function.PartitionByMonth"><property name="dateFormat">yyyy-MM-dd</property><property name="sBeginDate">2022-01-01</property><property name="sEndDate">2022-03-31</property>
</function>
<!--从开始时间开始，一个月为一个分片，到达结束时间之后，会重复开始分片插入 配置表的 dataNode 的分片，
必须和分片规则数量一致，例如 2022-01-01 到 2022-12-31 ，一 共需要12个分片。 -->

属性说明：

属性	描述
columns	标识将要分片的表字段
algorithm	指定分片函数与 function 的对应关系
class	指定该分片算法对应的类
dateFormat	日期格式
sBeginDate	开始日期
sEndDate	结束日期，如果配置了结束日期，则代码数据到达了这个日期的分片后，会重复从开始分片插入

说明：因为只有3个分片节点，所以添加4月日期的数据时会插入第一个节点，5月插入第二个节点，6月插入第三个节点，以此类推 

Mycat 管理 和 监控

MyCat 管理及监控_naki_bb的博客-CSDN博客