数据库优化 - 实例优化

article/2025/11/8 14:09:14
从网上去搜数据库优化基本都是从SQL层次进行优化的,很少有提及到数据库本身的实例优化。就算有也都是基于某个特定数据库的实例优化,本文涵盖目前市面上所有主流数据库的实例优化(Oralce、MySQL、POSTGRES、达梦),按照文章的配置能够将你数据库性能用到80%或以上。

数据库优化方法论

这部分为理论知识,不感兴趣的同学可以直接跳到后面参数配置部分。

数据库优化目标

根据角色的不同,数据库优化分为以下几个目标:

  • 业务角度(关键用户): 减少用户页面响应时间

  • 数据库角度(开发): 减少数据库SQL响应时间

  • 数据库服务器角度(运维): 充分使用数据库服务器物理资源 减少数据库服务器CPU使用率 减少数据库服务器IO使用率 减少数据库服务器内存使用率

数据库优化指标

  • SQL平均响应时间变短

    • 优化前:数据库平均响应时间500ms

    • 优化目标:数据库平均响应时间200ms

  • 数据库服务器CPU占用率变少

    • 优化前:数据库高峰期CPU使用率70%

    • 优化目标:数据库高峰期CPU使用率50%

  • 数据库服务器IO使用率变低

    • 优化前:数据库IO WAIT为30%

    • 优化目标:数据库IO WAIT低于10%

数据库优化误区

在进行数据库优化的时候可能会有以下几个误区:

  • 优化之前一定要深入了解数据库内部原理 优化是有“套路”的,照着这些“套路”你也可以很好的完成数据库优化

  • 不断调整数据库参数就可以最终实现优化 有时候设计不合理怎么调整参数都不行

  • 不断调整操作系统参数就可以最终实现优化 同上

  • 数据库性能由应用、数据库架构决定,与应用开发关系不大 恰恰相反,应用开发的关系很大

  • 必须要做读写分离,必须要弄分库分表 数据量级只有达到一定的比例才有必要做读写分离,分表分库,否则徒增复杂度。一般来说Oracle的单表量级可以达到1亿,MySQL到1000万~2000万

数据库优化流程

完整的数据库优化流程如下:

640?wx_fmt=png

首先需要尽可能的了解优化问题,收集问题期间系统信息并做好存档。根据当前系统问题表现制定优化目标并与客户沟通目标达成一致;通过一系列工具分析系统问题,制定优化方案,方案评审完成后由各负责人员进行实施。若达到优化目标则编写优化报告,否则需要重新制定优化方案。

数据库实例优化

数据库实例优化遵循三句口诀:日志不能小、缓存足够大、连接要够用。

数据库事务提交后需要将事务对数据页的修改刷( fsync)到磁盘上,才能保证数据的持久性。这个刷盘,是一个随机写,性能较低,如果每次事务提交都要刷盘,会极大影响数据库的性能。数据库在架构设计中都会采用如下两个优化手法:

  • 先将事务写到日志文件RedoLog(WAL),将随机写优化成顺序写

  • 加一层缓存结构Buffer,将每次写优化成批量写

所以日志跟缓存对数据库实例尤其重要。而连接如果不够用,数据库会直接抛出异常,系统无法访问。

数据库参数优化

主流数据库架构都有如下的共同点:

  • 数据缓存

  • SQL解析区

  • 排序内存

  • REDO及UNDO

  • 锁、LATCH、MUTEX

  • 监听及连接

  • 文件读写性能

接下来我们根据不同的数据库调整参数以使数据库达到最佳性能。

ORACLE

参数分类参数名参数值备注
数据缓存SGA_TAGET、MEMORY_TARGET物理内存70-80%越大越好
数据缓存DB_CACHE_SIZE物理内存70-80%越大越好
SQL解析SHARED_POOL_SIZE4-16G不建议设置过大
监听及连接PROCESSES、SESSIONS、OPEN_CURSORS根据业务需求设置一般为业务预估连接数的120%
其他SESSION_CACHED_CURSORS大于200软软解析

MYSQL(INNODB)

参数分类参数名参数值备注
数据缓存INNODB_BUFFER_POOL_SIZE物理内存50-80%一般来说越大性能越好
日志相关Innodb_log_buffer_size16-32M根据运行情况调整
日志相关sync_binlog1、100、01安全性最好
监听及连接max_connections根据业务情况调整可以预留一部分值
文件读写性能innodb_flush_log_at_trx_commit2安全和性能的折中考虑
其他wait_timeout,interactive_timeout28800避免应用连接定时中断

POSTGRES

参数分类参数名参数值备注
数据缓存SHARED_BUFFERS物理内存10-25% 
数据缓存CACHE_BUFFER_SIZE物理内存50-60% 
日志相关wal_buffer8-64M不建议设置过大过小
监听及连接max_connections根据业务情况调整一般为业务预估连接数的120%
其他maintenance_work_mem512M或更大 
其他work_mem8-16M原始配置1M过小
其他checkpoint_segments32或者更大 

达梦数据库

参数分类参数名参数值备注
数据缓存MEMROY_TARGET、MEMROY_POOL物理内存90% 
数据缓存BUFFER物理内存60%数据缓存
数据缓存MAX_BUFFER物理内存70%最大数据缓存
监听及连接max_sessions根据业务需求设置一般为业务预估连接数的120%

总结

数据库的优化手法太多太多,有换磁盘阵列升级硬件,有改写SQL脚本添加索引,还有数据库参数调整优化性能,甚至还可以调整数据库架构。本文从数据库本身参数进行调优,大家根据上面几张表中的参数进行调整基本能达到数据库最佳性能的80%。

 

640?wx_fmt=jpeg

 

更多内容请访问:www.javadaily.cn


http://chatgpt.dhexx.cn/article/aDBf0x1m.shtml

相关文章

MySQL数据库优化总结

在说mysql优化之前,我们首先要知道的一个事情,就是系统优化顺序是怎么样的?如下图: 架构调优:在系统设计时首先需要充分考虑业务的实际情况,是否可以把不适合数据库做的事情放到数据仓库、搜索引擎或者缓存…

数据库优化常用方案

从图中可以很明显的看出Mysql数据库优化的常用方法以及成本的高低。sql语句的优化和索引的优化是成本最小但是效果最好的方法,关于这两点我总结了如下几个优化方法: 1、sql语句中不使用子查询,比如delete from user where uid not in( selec…

数据库优化:优化SQL步骤

优化SQL步骤 1 查看SQL执行频率 MySQL 客户端连接成功后,通过 show [session|global] status 命令可以提供服务器状态信息。show [session|global] status 可以根据需要加上参数“session”或者“global”来显示 session 级(当前连接)的计结…

数据库优化一般思路(个人经验之谈)

随着系统规模的不断增加,数据量和并发量不断增大,整个系统架构中最先受到冲击而形成瓶颈的,定然是数据库,因此数据库层面的优化,是一个程序员不可或缺的技能,以下是我在使用数据库中的一些心得,…

有哪些常见的数据库优化方法

数据库优化这个话题很大,我从最常见的也是最有效的优化手段索引优化的角度来回答一下: 系统的性能瓶颈很多时候都出现在数据库,而数据库的性能优化最先入手之处应当是索引,通过索引的优化可以用最少的成本获得最大的性能提升。 …

数据库优化方案整理

一:优化说明 A:有数据表明,用户可以承受的最大等待时间为8秒。数据库优化策略有很多,设计初期,建立好的数据结构对于后期性能优化至关重要。因为数据库结构是系统的基石,基础打不好,使用各种优…

Mysql数据库优化

1.存储引擎 什么是存储引擎 存储引擎:可以看作是数据表存储数据的一种格式,不同的格式具有的特性也各不相同。 举例说明:只有InnoDB存储引擎支持事务、外键、行级锁等特性,而MyISAM则支持压缩机制等特性。 存储引擎的特点:本身是MySQL数据库服务器的底…

8大数据库性能优化方案,YYDS!

文章来源:https://c1n.cn/dLkfg 目录 前言为什么数据库会慢?应该站在哪个层面思考优化?八大方案总结结束 前言 毫不夸张的说咱们后端工程师,无论在哪家公司,呆在哪个团队,做哪个系统,遇到的第一…

Java之流水号生成器

开心一笑 视频教程 CSDN学院: http://edu.csdn.net/lecturer/994 腾讯学院: https://huangwy.ke.qq.com/ 网易学院: http://study.163.com/instructor/1035331499.htm 提出问题 如何使用jAVA生成流水号,同时支持可配置和…

业务流水号规则生成组件

对于很多业务系统都需要生成业务流水号,如果订单号、购采单号等等;而这些业务流水号并不是简单的一个增长数值,它们很多时候都有一些不同的规则来定义,如不同类型的字母或地区拼音简写等。为了更灵活生成这些有规则的业务流水号Be…

怎样生成全局唯一流水号?UUID、自增主键,你已经Out啦,快来学习定制化雪花算法。

前言 流水号是每个系统永远都绕不开的一个话题,如订单系统中的订单号,物流系统的运单号、银行系统的业务单号等等,不难发现这些单号虽然叫法不一样,但都有着一些相同的共性,那就是全局唯一性。除此之外,一…

Java自动生成订单编号+流水号

介绍 这里是小编成长之路的历程,也是小编的学习之路。希望和各位大佬们一起成长! 以下为小编最喜欢的两句话: 要有最朴素的生活和最遥远的梦想,即使明天天寒地冻,山高水远,路远马亡。 一个人为什么要努力&a…

JAVA如何利用Lock实现多线程并发生成唯一的流水号

本文记录在开发过程,JAVA如何利用ReentrantLock实现多线程并发生成唯一的流水号。 在实际的开发中,我们会经常碰到需要生成唯一流水号的业务场景。有些情况可以采用数据库自定义序列号自增生成流水号,亦或是自己编写数据库触发器生成流水号。…

mysql 生成流水号 存储过程 订单编号

用存储过程生成流水号是很常用的,这里以生成订单编号的流水号作为示例。(新的一天的流水号从1开始,如:今天的订单编号是CD2013010900014,下一个订单编号将是CD2013010900015;明天的订单编号将从CD201301100…

流水号生成规则

流水号生成规则 从“0001”号起始,依序不跳跃不间断地编号,形成流水编码,依次为0001、0002、0003、0004、0005、0006…等。当编至“9999”号,仍需继续编号时,从“A000”号(A000代表10000)起始重…

一种生成流水号的方法

1.介绍 今天做了一个功能,生成订单流水号,当然这其实这并不是一个很难的功能,最直接的方式就是日期主机Id随机字符串来拼接一个流水号。但是今天有个我认为比较优雅方式来实现。我要介绍是日期 long(商家Id订单类型主机IDAtomicIn…

简单介绍订单号或者流水号的生成方法

一般订单号或者流水号等可能在一些平台会用到,然后我就简单的介绍一个我自己生成订单号和流水号的一个方法吧,如果程序有问题或者你有更好的生成办法,欢迎留言,留下你的文章链接,我们一起学习和进步哈。 方法简介&…

如何使用redis生成流水号

概述 本文讲述如何使用redis生成流水号。本文是在Springboot中实现的。知道原理之后其他框架也可以轻松实现。 原理介绍 本文主要是使用redis的incr方法进行自增补零。然后结合时间、随机数、前缀组成唯一的流水号。 下面是流水号的结构。 在文章的最后还是简单介绍一下redis的…

谈谈订单号和流水号的关系

订单号和流水号是不同的。 首先订单号是订单唯一的编号,而且电商平台的各种子系统也是根据订单来统计业务完成的情况,订单编号经常用来被查询,所以数据类型必须是数字,而且是全局唯一,那肯定就得主键字段了。 然后流水…

低代码学习教程:生成固定格式流水号

方法1:RECNO()方法2:MAPX() 表单设计中经常涉及流水号的制作问题,下面就分别介绍下两种编号的实现方法,大家可以根据需要自行选择。 注意: 百数已支持【流水号】控件,如有特殊要求可参考文档:…