【mysql】sql优化常用的几种方法,19种最有效的sql优化技巧(转载)

article/2025/9/21 0:24:11

前言

转载

有哪些方法

转载自:https://www.changchenghao.cn/n/174426.html

  1. EXPLAIN
    做MySQL优化,我们要善用EXPLAIN查看SQL执行计划。
    下面来个简单的示例,标注(1、2、3、4、5)我们要重点关注的数据:
    在这里插入图片描述

    • type列,连接类型。一个好的SQL语句至少要达到range级别。杜绝出现all级别。
    • key列,使用到的索引名。如果没有选择索引,值是NULL。可以采取强制索引方式。
    • key_len列,索引长度。
    • rows列,扫描行数。该值是个预估值。
    • extra列,详细说明。注意,常见的不太友好的值,如下:Using filesort,Using temporary。
  2. SQL语句中IN包含的值不应过多

  3. SELECT语句务必指明字段名称

  4. 当只需要一条数据的时候,使用limit 1

  5. 如果排序字段没有用到索引,就尽量少排序

  6. 如果限制条件中其他字段没有索引,尽量少用or

  7. 尽量用union all代替union

  8. 不使用ORDER BY RAND()
    select id from dynamic order by rand() limit 1000;
    上面的SQL语句,可优化为:
    select id from dynamic t1 join (select rand() * (select max(id) from dynamic) as nid) t2 on t1.id > t2.nidlimit 1000;

  9. 区分in和exists、not in和not exists
    select * from 表A where id in (select id from 表B)
    上面SQL语句相当于
    select * from 表A where exists(select * from 表B where 表B.id=表A.id)
    区分in和exists主要是造成了驱动顺序的改变(这是性能变化的关键),如果是exists,那么以外层表为驱动表,先被访问,如果是IN,那么先执行子查询。所以IN适合于外表大而内表小的情况;EXISTS适合于外表小而内表大的情况。
    关于not in和not exists,推荐使用not exists,不仅仅是效率问题,not in可能存在逻辑问题。如何高效的写出一个替代not exists的SQL语句?
    原SQL语句:
    select colname … from A表 where a.id not in (select b.id from B表)
    高效的SQL语句:
    select colname … from A表 Left join B表 on where a.id = b.id where b.id is null
    取出的结果集如下图表示,A表不在B表中的数据:
    在这里插入图片描述

  10. 使用合理的分页方式以提高分页的效率
    select id,name from product limit 866613, 20
    使用上述SQL语句做分页的时候,可能有人会发现,随着表数据量的增加,直接使用limit分页查询会越来越慢。
    优化的方法如下:可以取前一页的最大行数的id,然后根据这个最大的id来限制下一页的起点。比如此列中,上一页最大的id是866612。SQL可以采用如下的写法:
    select id,name from product where id> 866612 limit 20

  11. 分段查询
    在一些用户选择页面中,可能一些用户选择的时间范围过大,造成查询缓慢。主要的原因是扫描行数过多。这个时候可以通过程序,分段进行查询,循环遍历,将结果合并处理进行展示。
    如下图这个SQL语句,扫描的行数成百万级以上的时候就可以使用分段查询:
    在这里插入图片描述

  12. 避免在where子句中对字段进行null值判断
    对于null的判断会导致引擎放弃使用索引而进行全表扫描。

  13. 不建议使用%前缀模糊查询
    例如LIKE“%name”或者LIKE“%name%”,这种查询会导致索引失效而进行全表扫描。但是可以使用LIKE “name%”。
    那如何查询%name%?
    如下图所示,虽然给secret字段添加了索引,但在explain结果并没有使用:
    在这里插入图片描述
    写SQL记住这19个优化原则,效率至少提高3倍
    那么如何解决这个问题呢,答案:使用全文索引。
    在我们查询中经常会用到select id,fnum,fdst from dynamic_201606 where user_name like ‘%zhangsan%’; 。这样的语句,普通索引是无法满足查询需求的。庆幸的是在MySQL中,有全文索引来帮助我们。
    创建全文索引的SQL语法是:
    ALTER TABLE dynamic_201606 ADD FULLTEXT INDEX idx_user_name (user_name);
    使用全文索引的SQL语句是:
    select id,fnum,fdst from dynamic_201606 where match(user_name) against(‘zhangsan’ in boolean mode);
    注意:在需要创建全文索引之前,请联系DBA确定能否创建。同时需要注意的是查询语句的写法与普通索引的区别。

  14. 避免在where子句中对字段进行表达式操作
    比如:
    select user_id,user_project from user_base where age*2=36;
    中对字段就行了算术运算,这会造成引擎放弃使用索引,建议改成:
    select user_id,user_project from user_base where age=36/2;

  15. 避免隐式类型转换
    where子句中出现column字段的类型和传入的参数类型不一致的时候发生的类型转换,建议先确定where中的参数类型。

  16. 对于联合索引来说,要遵守最左前缀法则
    举列来说索引含有字段id、name、school,可以直接用id字段,也可以id、name这样的顺序,但是name;school都无法使用这个索引。所以在创建联合索引的时候一定要注意索引字段顺序,常用的查询字段放在最前面。

  17. 必要时可以使用force index来强制查询走某个索引
    有的时候MySQL优化器采取它认为合适的索引来检索SQL语句,但是可能它所采用的索引并不是我们想要的。这时就可以采用forceindex来强制优化器使用我们制定的索引。

  18. 注意范围查询语句
    对于联合索引来说,如果存在范围查询,比如between、>、<等条件时,会造成后面的索引字段失效。

  19. 关于JOIN优化
    在这里插入图片描述
    LEFT JOIN A表为驱动表,INNER JOIN MySQL会自动找出那个数据少的表作用驱动表,RIGHT JOIN B表为驱动表。
    注意:
    1)MySQL中没有full join,可以用以下方式来解决:
    select * from A left join B on B.name = A.namewhere B.name is nullunion allselect * from B;
    2)尽量使用inner join,避免left join:
    参与联合查询的表至少为2张表,一般都存在大小之分。如果连接方式是inner join,在没有其他过滤条件的情况下MySQL会自动选择小表作为驱动表,但是left join在驱动表的选择上遵循的是左边驱动右边的原则,即left join左边的表名为驱动表。
    3)合理利用索引:
    被驱动表的索引字段作为on的限制字段。
    4)利用小表去驱动大表:
    在这里插入图片描述
    从原理图能够直观的看出如果能够减少驱动表的话,减少嵌套循环中的循环次数,以减少 IO总量及CPU运算的次数。
    5)巧用STRAIGHT_JOIN:
    inner join是由MySQL选择驱动表,但是有些特殊情况需要选择另个表作为驱动表,比如有group by、order by等「Using filesort」、「Using temporary」时。STRAIGHT_JOIN来强制连接顺序,在STRAIGHT_JOIN左边的表名就是驱动表,右边则是被驱动表。在使用STRAIGHT_JOIN有个前提条件是该查询是内连接,也就是inner join。其他链接不推荐使用STRAIGHT_JOIN,否则可能造成查询结果不准确。
    在这里插入图片描述
    这个方式有时能减少3倍的时间。


http://chatgpt.dhexx.cn/article/3pQbakkN.shtml

相关文章

SQL查询优化技巧

查询优化的本质是让数据库优化器为SQL语句选择最佳的执行计划。一般来说&#xff0c;对于在线交易处理&#xff08;OLTP&#xff09;系统的数据库&#xff0c;减少数据库磁盘I/O是SQL语句性能优化的首要方法&#xff0c;因为磁盘访问通常是数据库性能的瓶颈所在。 另外&#xf…

SQL语句优化有哪些方法

1.如何定位慢查询? mysql默认慢查询为10秒,如果超过10秒,没有数据返回则为慢查询. 当我们通过安全日志启动时,当超过超时时间时,会将超时的SQl存放在日志中,我们去分析这些sql然后进行调优. 2.数据库设计要合理 什么是数据库设计? 主要就是三范式 1p原子性:每列不可再分…

MySQL的SQL优化常用30种方法

1、对查询进行优化&#xff0c;应尽量避免全表扫描&#xff0c;首先应考虑在 where 及 order by 涉及的列上建立索引。 &#xff08;1&#xff09;未建立索引前&#xff0c;执行计划是全表扫描&#xff1a; &#xff08;2&#xff09;建立索引后&#xff0c;走索引查询&…

常用SQL优化方法

个人博客请访问 http://www.x0100.top 1、应尽量避免在 where 子句中使用!或<>操作符&#xff0c;否则将引擎放弃使用索引而进行全表扫描。 2、对查询进行优化&#xff0c;应尽量避免全表扫描&#xff0c;首先应考虑在 where 及 order by 涉及的列上建立索引。 3、应…

Mysql的sql优化方法

1、选择最合适的字段属性 Mysql是一种关系型数据库&#xff0c;可以很好地支持大数据量的存储&#xff0c;但是一般来说&#xff0c;数据库中的表越小&#xff0c;在它上面执行的查询也就越快。因此&#xff0c;在创建表的时候&#xff0c;为了获得更好的性能&#xff0c;我们可…

sql优化常用的几种方法,19种最有效的sql优化技巧

sql优化常用的几种方法&#xff0c;19种最有效的sql优化技巧 本文我们来谈谈项目中常用的MySQL优化方法&#xff0c;共19条&#xff0c;具体如下&#xff1a; 1、EXPLAIN 做MySQL优化&#xff0c;我们要善用EXPLAIN查看SQL执行计划。 下面来个简单的示例&#xff0c;标注&am…

15个常用的sql优化技巧

原文&#xff1a;https://www.cnblogs.com/12lisu/p/15535940.html 作者&#xff1a;苏三说技术 前言 sql优化是一个大家都比较关注的热门话题&#xff0c;无论你在面试&#xff0c;还是工作中&#xff0c;都很有可能会遇到。 如果某天你负责的某个线上接口&#xff0c;出现…

TiDB数据库要点及练习

TiDB Server 处理客户端的连接 SQL语句的解析和编译 关系数据库与KV的转化 SQL语句的执行 执行oline DDL 垃圾回收 热点小表缓存V6.0 TiKV 数据持久化 副本的强一致性和高可用性 MVCC&#xff08;多版本并发控制&#xff09; 分布式事务支持 Coprocessor&#xff0…

【TIDB】TIDB数据类型详解

TIDB的数据类型 文章目录 TIDB的数据类型1 数值类型2 日期和时间类型3 字符串类型3 SET 类型4 JSON类型 1 数值类型 1 整数类型 2 浮点类型 3 定点类型 decamal(20,6) 2 日期和时间类型 3 字符串类型 1 CHAR 类型 定长字符串。CHAR 列的长度固定为创建表时声明的长度。当保…

TiDB 的现在和未来

本文根据黄东旭在 PingCAP D 轮融资线上发布会的演讲实录进行整理。 TiDB 的现在和未来 大家好&#xff0c;我是黄东旭&#xff0c;是 PingCAP 的联合创始人和 CTO&#xff0c;这是 PingCAP 成立以来的第一次发布会&#xff0c;我想跟大家简单聊聊 TiDB 在产品和技术上的更新。…

TiDB Cloud

TiDB Cloud 为什么选择TiDB 分布式数据库-多租户混合工作负载-在同一个数据库中 事务型&#xff1a;基于行的数据分析型&#xff1a;基于列的数据 弹性比例&#xff1a; 缩小-减少节点横向扩展-添加节点 基于“RAFT”的高可用性 每个数据段的3个可用区进行复制 多租户 什么…

TiDB整体架构详解、TiDB核心特性——水平扩展、高可用

TiDB 集群主要包括三个核心组件&#xff1a;TiDB Server&#xff0c;PD Server 和 TiKV Server。此外&#xff0c;还有用于解决用户复杂 OLAP 需求的 TiSpark 组件和简化云上部署管理的 TiDB Operator 组件。 架构图解 TiDB Server TiDB Server 负责接收 SQL 请求&#xff0c…

TiDB(2):TiDB架构特性

1 TiDB 整体架构 TiDB 集群主要包括三个核心组件&#xff1a;TiDB Server&#xff0c;PD Server 和 TiKV Server。此外&#xff0c;还有用于解决用户复杂 OLAP 需求的 TiSpark 组件和简化云上部署管理的 TiDB Operator 组件。 架构图解 1.1 TiDB Server TiDB Server 负责接收…

TiDB使用总结

使用场景 TiDB 是 PingCAP 公司自主设计、研发的开源分布式关系型数据库&#xff0c;是一款同时支持在线事务处理(OLTP)与在线分析处理 (HTAP) 的融合型分布式数据库产品&#xff0c;具备水平扩容或者缩容、金融级高可用、实时 HTAP、云原生的分布式数据库、兼容 MySQL 5.7 协…

猿创征文|分布式国产数据库 TiDB 从入门到实战

写在前面 本文讲解的是目前欢迎程度最高分布式国产数据库 TiDB&#xff0c;详细讲解了 TiDB 的由来、架构、SQL 基本操作、SpringBoot 整合 TiDB 等内容。 目录 写在前面一、概述二、与 MySQL 兼容性对比三、安装使用四、SQL 基本操作4.1、库操作4.2、表操作4.3、索引操作4.4、…

猿创征文 | 国产数据库TiDB架构特性

前言 TiDB 是 PingCAP 公司自主设计、研发的开源分布式关系型数据库&#xff0c;是一款同时支持在线事务处理与在线分析处理 (Hybrid Transactional and Analytical Processing, HTAP) 的融合型分布式数据库产品&#xff0c;具备水平扩容或者缩容、金融级高可用、实时 HTAP、云…

数据库必知必会:TiDB(12)TiDB连接管理

数据库必知必会&#xff1a;TiDB&#xff08;12&#xff09;TiDB连接管理 TiDB连接管理TiDB的连接特性连接TiDBMySQL命令行客户端图形界面客户端连接其他连接方式 写在后面 TiDB连接管理 TiDB的连接特性 TiDB Server主要负责接收用户的会话请求&#xff0c;接收SQL并负责SQL语…

TiDB 数据库的存储

本文主要介绍 TiKV 的一些设计思想和关键概念。 Key-Value Pairs&#xff08;键值对&#xff09; 作为保存数据的系统&#xff0c;首先要决定的是数据的存储模型&#xff0c;也就是数据以什么样的形式保存下来。TiKV 的选择是 Key-Value 模型&#xff0c;并且提供有序遍历方法…

TiDB-新一代数据库入门介绍

由于目前的项目计划把MySQL换成TiDB&#xff0c;所以特意来了解下TiDB。其实也不能说换&#xff0c;由于TiDB和MySQL几乎完全兼容&#xff0c;所以我们的程序可以没有任何改动就完成数据库从MySQL到TiDB的转换。接下来了解一下TiDB&#xff0c;为将来的技术选型做个准备。 一、…

TIDB数据库特性总结

文章目录 前言一、TIDB数据库介绍1.1数据管理技术发展阶段1.2 数据库分类1.2 如何学习TiDB 二、TIDB特点和使用场景2.1.MySQL存在问题2.2.TiDB数据库特点2.3TIDB架构特性2.4 TiDB 核心特性2.4.1水平扩展性2.4.2高可用性 2.5 TIDB的存储和计算能力2.6 TIDB特性总结 3 TIDB部署总…