分享篇 | MySQL的ibdata1是个啥,为啥越来越大,怎么缩小?

article/2025/10/8 6:11:04

同事的一个问题:
MySQL的ibdata1文件越来越大,这是为啥、
看着别扭,怎么搞小它?

ibdata1文件是什么?
ibdata1是一个用来构建innodb系统表空间的文件,这个文件包含了innodb表的元数据、undo日志、修改buffer和双写buffer。随着数据库的使用,ibdata1文件会越来越大,innodb_autoextend_increment选项则指定了该文件每次自动增长的步进,默认是8M.
熟悉Oracle的亲,可以把ibdata理解成redo日志。

当在MySQL中对InnoDB表进行更改时,这些更改首先存储在InnoDB日志缓冲区的内存中,然后写入通常称为重做日志(redo logs)的InnoDB日志文件中。

介绍MySQL InnoDB 日志缓冲区(Log Buffer)的文章链接如下:
传送门:
知识分享 | MySQL InnoDB 日志缓冲区(Log Buffer)讲解

这里放张图
image.png

my.cnf中的参数设置形式:
innodb_data_file_path = ibdata1:256M;ibdata2:128M:autoextend

什么原因导致ibdata1越来越大?
上文也说了,ibdata1存放innodb表的元数据、undo日志、修改buffer和双写buffer,是MYSQL的最主要的数据,随着数据库越来越大,表也会越来越大。
尤其是innodb_file_per_table参数未开启的话,新创建表的数据和索引会存在系统表空间中,增加更加更快。

该如何处理呢?
业务数据使用独享表空间,将不用的业务表空间分别单独存放。MySQL开启独享表空间的参数是Innodb_file_per_table,会为每个Innodb表创建一个.ibd的文件。

没开启,怎么减小ibdata的大小?
两个操作步骤:
1.初始参数中修改innodb_data_file_path=1,保证业务数据被单独存放。
举例:innodb_data_file_path = ibdata1:32M;ibdata2:16M:autoextend
2.使用mysqldump做下数据的导出和导入

步骤2实操如下:

  1. 导出数据库中所有数据
    # mysqldump -uroot -p --socket=/tmp/mysql.sock --single-transaction --master-data=2 --all-databases -E -R --triggers --set-gtid-purged=off > /tmp/all-database.dump
  2. 删除数据库中数据
    mysql> drop database dbname;
  3. 停止MySQL
    # /etc/init.d/mysqld stop

    #mysqladmin -uroot -p shutdown
  4. 删除ibdata1文件(移动到/tmp下)
    # mv /var/lib/mysql/ibdata1 /tmp
    # mv /var/lib/mysql/ib_logfile0 /tmp
    # mv /var/lib/mysql/ib_logfile1 /tmp
  5. my.cnf设定
    # vi /etc/my.cnf
    开启独享表空间,并指定ibdata1大小为256M,ibdata2大小128M,自动扩张。
    innodb_file_per_table = 1

    innodb_data_home_dir = /mysqldata/data
    innodb_data_file_path = ibdata1:256M;ibdata2:128M:autoextend
  6. 启动MySQL
    # /etc/init.d/mysqld start
    或者
    #mysqld_safe --defaults-file=/etc/my.cnf --user=mysql &
  7. 导入数据
    # mysql -u root -p < /tmp/all-database.dump
  8. 搞定

发问:使用mysqldump缩小ibdata时,mysqldump导出导入太慢,如何减少业务中断时间?

回答:充分利用主从架构来做,怎么做?

步骤如下:
1.主库mysqldump出导出文件,并scp到从库;
2.从库做逻辑恢复,并使用gtid追平主库数据(注意此刻的从库已经修改了innodb_file_per_table = 1和innodb_data_file_path = ibdata1:256M;ibdata2:128M:autoextend)
3.为保险起见,可找个业务空闲窗口,切换下高可用至从库(此刻的从库变为新主),并对外恢复业务数据访问
4.原主做mysqldump恢复,并追平新主数据,此刻原主为新从
5.搞定。

具体实操,不再赘述。

文章结束。

以下是个人微信公众号,欢迎关注:
image.png


http://chatgpt.dhexx.cn/article/iUCM00ge.shtml

相关文章

js类型转换题

考察隐式类型转换&#xff1a; 1.号一侧出现了字符串&#xff0c;就用String()将不是字符串的变成字符串&#xff0c;最后拼接在一起 2.-号则会调用显示类型转换Number()&#xff0c;将非数字转换成数字&#xff0c;进行计算 true 0 和 true false 都是隐式调用Number()变成…

JS中的强制类型转换

概念 这里我们首先需要知道什么是值类型转换 值类型转换&#xff1a;将值从一种类型转换为另一种类型&#xff0c;就是类型转换&#xff0c;分显示转换和隐式转换 js类型转换出的值都是基本类型&#xff08;number、boolean、string、null、undefined、string&#xff09;&a…

JavaScript——数据类型的转换

目录 一、其他类型转化成字符串类型 1. 把数字型转换为字符串型 变量.toString() 2. 利用 String(变量) 3. 利用 拼接字符串的方法实现转换效果 隐式转换 二、其他类型转化成数字类型&#xff08;重点&#xff09; 1. parseInt(变量) 可以把 字符型的转换为数字型…

JavaScript类型转换规则

类型转换 先梳理一下es6之前有五种基本数据类型:Null、Undefined、String、Number 、Boolean 布尔类型转换规则 直观上为空的值(0、空字符串、null、undefined、和NaN)将变为false 注意 :包含"0" 为true console.log(Boolean("")); //falseconsole.log(…

JavaScript类型转换

javascript是一种弱类型的语言&#xff0c;变量和类型无关&#xff0c;所以有时需要我们进行类型转换 一、数字型转换&#xff08;number&#xff09; 两种方法&#xff1a; 1、number&#xff1a;类型转化走的是v8引擎最底层机制的转化规则&#xff1a; 先将引用类型转化为…

js类型转换

NaNi??? 一、显性类型转换 强制类型转换主要是指通过String、Number和Boolean等构造方法手动转换成对应的字符串、数字和布尔值。 1.1 转为字符串 1.1.1 原始类型转字符串 原始类型字符串string &#xff1a;‘str’“str”number : 123“123”Boolean“true”/“fals…

Axure 9.0.0.3701 授权码

产品经理主力工具 Axure 在2020年5月26日更新了最新的 3701 版本&#xff0c;具体更新如下&#xff1a; 很多小伙伴在更新后会出现之前的授权无法使用的情况&#xff0c;如果出现这种情况大家可以通过在产品栈查找相对应的版本进行获取最新的授权码。 获取地址&#xff1a;http…

Axure 8.0/9.0 注册码 激活码 授权码 License

先查版本号&#xff0c;根据版本号在下面的网址查找对应的授权密钥&#xff08;没有的话&#xff0c;可以试试相近版本&#xff09; https://7rp.cn/34

Axure 9.0.0.3704 授权码

产品经理常用工具软件 Axure 又更新啦&#xff0c;本次更新版本为 Axure RP 9.0.0.3704&#xff0c;具体更新如下&#xff1a; 如何查看版本号&#xff1a; 更新后效果&#xff1a; 很多小伙伴在更新到最新版本后之前的授权出现了失效的情况&#xff0c;下边栈长为大家准备了最…

全网超详细的【Axure】Axure RP 9的下载、安装、中文字体、授权

文章目录 1. 文章引言2. 下载Axure93. 安装Axure94. Axure9中文5. Axure9授权 1. 文章引言 最近在学习原型图&#xff0c;针对画原型图的工具&#xff0c;反复对比墨刀、Axure、xiaopiu后&#xff0c;最终选择了Axure。 接下来&#xff0c;我便从Axure RP 9的下载、安装、中文…

Axure 8授权码

转自&#xff1a;Axure 8.1.0.3372亲测可用授权码 只为记录下 被授权人&#xff1a; zdfans.com 授权密钥&#xff1a; gP5uuK2gHiIVO3YFZwoKyxAdHpXRGNnZWN8Obntqv7FF3pAz7dTu8B61ySxli

Axure RP9授权码

axure rp9安装教程&#xff08;如需免费版安装包请点击此处&#xff09; 1.下载本站提供的压缩包进行解压 2.双击AxureRP-setup9.exe安装程序进行安装 3.点击下一步 4.勾选我同意&#xff0c;点击下一步 5.选择安装位置默认也可以 6.静静的等待安装 7.安装好后点击完成安装&…

combinations()函数(python)

itertools.combinations(iterable, r) 从可迭代对象iterable中选取r个单位进行组合&#xff0c;并返回一个生成元组的迭代器 定义 def combinations(iterable, r):# combinations(ABCD, 2) --> AB AC AD BC BD CD# combinations(range(4), 3) --> 012 013 023 123pool…

Combiner合并案例

Combiner合并案例 需求1. 需求说明2. 文件 案例分析1. 需求分析2. 输入数据3. 期望输出数据4. 实施方案&#xff08;1&#xff09;方案一&#xff08;2&#xff09;方案二 代码实现1. 基于wordcount案例2. 方案一3. 方案二 结果截图 需求 1. 需求说明 统计过程中对每一个MapT…

MapReduce的Combiner详解

核心意义 :减少集群之间的网络开销具体实现步骤 1.自定义一个Combiner 继承 reduce 重写reduce方法2.在 job 中设置:job.setCombinerClass(Combiner类.class) 注意: combiner 能够应用的前提是不能影响最终的业务逻辑&#xff0c;而且&#xff0c;combiner 的输出 kv 应该跟 …

Combiner和Partitioner

Combiner和Partitioner InputFormat & RecordReaders InputFormat 将输出文件拆分为多个 InputSplit,并由 RecordReaders 将 InputSplit 转换为标准的<key,value>键值对,作为 map 的输出。这一步的意义在于只有先进行逻辑拆分并转为标准的键值对格式后,才能为多…

hadoop使用combiner合并操作

前言 任务从MapperTask出来的时候,数据要暂存在一段缓存空间,然后ReducerTask再拉取这些数据进行处理,map到reduce中间的这一段操作,官方称作为 shuffle 通过前面的章节我们了解到,往往来说,MapperTask的任务数量是多于ReduceTask的,这是因为原始的待处理的文件可能很…

Combiners

Combiners 怎么理解combiners? 1、每一个map可能会产生大量的输出&#xff0c;combiner的作用就是在map端对输出先做一次合并&#xff0c;以减少传输到reducer的数据量。 2、combiner最基本是实现本地key的归并&#xff0c;combiner具有类似本地的reduce功能。 3、如果不用…

MapReduce快速入门系列(9) | Shuffle之Combiner合并

Hello&#xff0c;大家好&#xff01;博主上篇讲解了分区&#xff0c;这篇要讲的是合并操作。如何讲解这个章节呢&#xff1f;首先先对什么是合并进行解释&#xff0c;然后通过案例进行证明。 目录 一. Combiner合并的简单介绍二. 通过图片了解使用Combiner和不使用的区别三. 代…

MapReduce【Shuffle-Combiner】

概述 Conbiner在MapReduce的Shuffle阶段起作用&#xff0c;它负责局部数据的聚合&#xff0c;我们可以看到&#xff0c;对于大数据量&#xff0c;如果没有Combiner&#xff0c;将会在磁盘上写入多个文件等待ReduceTask来拉取&#xff0c;但是如果有Combiner组件&#xff0c;我们…