Redis RDB持久化

article/2025/8/29 17:31:30

文章目录

    • 一、持久化简介
    • 二、数据快照RDB
      • 1. save指令
      • 2. RDB文件相关配置
        • 验证save后数据保存在了rdb文件
        • 验证重启服务后,程序会从rdb文件中恢复数据到内存
      • 3. bgsave指令
      • 4. 配置自动持久化
      • 5. RDB三种启动方式对比
      • 6. rdb特殊启动形式
      • 7. RDB优缺点

一、持久化简介

什么是持久化?

将内存中的数据保存至永久性存储介质称为持久化

为什么要持久化?

防止数据的意外丢失,确保数据安全性

如何防止数据丢失?

  • RDB:快照形式,保存当前数据状态,存储数据结果,存储格式简单,关注点在数据
  • AOF:日志形式,保存数据的操作过程,存储操作过程,存储格式复杂,关注点在数据的操作过程

在这里插入图片描述

二、数据快照RDB

1. save指令

使用save指令即可通过RBD方式进行数据持久化,需要手动执行save操作,持久化时会把redis中的数据默认保存在dump.rdb中,可在配置文件中指定目录

在这里插入图片描述

客户端在内存创建数据,并进行save持久化

在这里插入图片描述
查看指定dump.rdb中是否有内容

在这里插入图片描述
这就表示内存中的数据已经保存在硬盘文件里了

2. RDB文件相关配置

dbfilename dump.rdb
  • 说明:设置本地数据库文件名,默认为dump.rdb
  • 经验:通常设置为dump-端口号.rdb
dir
  • 说明:设置存储.rdb文件的路径
  • 经验:通常设置成存储空间较大的目录中,目录名称data
rdbcompression yes
  • 说明:设置存储至本地数据库时是否压缩数据,默认为yes,采用LZF压缩
  • 经验:通常默认为开启状态,如果设置成no,可以节省CPU运行时间,但会使存储的文件变大(巨大)
rdbchecksum yes
  • 说明:设置读写.rdb文件时是否进行RDB文件的校验,该校验过程在写文件和读文件过程均进行,避免读写已损坏的文件
  • 经验:通常默认为开启状态,如果设置为no,可以节约读写性过程约10%时间消耗,但是存储一定的数据损坏风险
stop-writes-on-bgsave-error yes
  • 说明:后台存储过程中如果出现错误,是否停止保存操作
  • 经验:通常默认为开启状态

修改配置后,需要重启服务程序才能生效,重启后将按照配置文件指定的文件路径和工作方式运行

在这里插入图片描述

验证save后数据保存在了rdb文件

服务端杀掉进程后,重新使用配置文件启动

在这里插入图片描述
客户端创建两个数据并save
在这里插入图片描述
查看rdb文件,已有相关记录
在这里插入图片描述

验证重启服务后,程序会从rdb文件中恢复数据到内存

在这里插入图片描述
客户端重新连接,发现数据还存在,这是因为服务进程启动时读取了rdb文件,进而恢复到内存中
在这里插入图片描述

3. bgsave指令

Redis是单线程的,所有命令都会在队列中排好队,不建议使用save指令,因为save指令的执行会阻塞当前Redis服务器,直到当前RDB过程完成,有可能会造成长时间阻塞,线上环境不建议使用

在这里插入图片描述

访问量很大时,单线程又得执行save,还得处理客户请求,造成效率降低,如何处理?

用bgsave解决:客户端发送bgsave后,redis会选择一个合适的时间执行后台执行,并不是像save一样收到指令立即执行
在这里插入图片描述
注意: bgsave命令是针对save阻塞问题做的优化,Redis内部所有涉及到RDB操作都采用bgsave的方式,save命令可以放弃使用

验证bgsave工作原理

客户端发送bgsave,可以看到给我们提示的是Background saving started

在这里插入图片描述
我们查看RDB文件,已经数据addr保存好了

在这里插入图片描述
我们查看一下日志文件(配置文件中的logfile)

在这里插入图片描述

4. 配置自动持久化

到目前为止,save和bgsave都是手动的保存指令,那么会引入以下问题:

  • 反复执行保存命令,忘记了怎么办?
  • 不知道数据产生了多少变化,何时保存?

Redis提供了一种自动进行数据持久化的方式:指定时间范围内,发生变化(这个变化包括增加、修改、删除)的key达到指定数量就进行持久化,需要在配置文件中进行一下配置:

save second changes
  • second:监控时间范围
  • changes:监控key的变化量
save 900 1        # 900s内有1个key发生变化,则进行bgsave持久化
save 300 10       # 300s内有10个key发生变化,则进行bgsave持久化
save 60 10000     # 60s内有10000个key发生变化,则进行bgsave持久化

修改配置conf文件

在这里插入图片描述

启动服务程序

在这里插入图片描述
客户端添加一个数据

在这里插入图片描述
查看服务器是否进行了持久化(rdb文件已提前清空)

在这里插入图片描述

客户端再添加一条数据,此时服务器按照配置文件,自动执行bgsave

在这里插入图片描述
此时服务器的rdb文件已经出现

在这里插入图片描述

在这里插入图片描述
无论get多少次,数据都不会改变,不会进行持久化;由于不进行数据比对,也就意味着对同一个数据连续修改两次,也会进行持久化

save使用注意事项:

  • save配置要根据实际业务情况进行设置,持久化的频度过高或过低都会出现性能问题,结果可能是灾难性的
  • save配置中对second与changes设置通常具有互补对应关系,尽量不要设置成包含性关系
  • save配置启动后执行的是bgsave操作

5. RDB三种启动方式对比

由于配置文件启动save的方式,执行的就是bgsave,这里只比较save和bgsave

在这里插入图片描述

  • save:由单进程执行,是同步的;save和其他的客户端请求都是排队处理的,若执行时间过长会阻塞其他指令;没有fork子进程,无额外内存消耗
  • bgsave:由子进程执行,主进程可以继续处理其他请求,不会阻塞其他指令,是异步的,同时有额外内存开销(子进程)

6. rdb特殊启动形式

  • 全量复制(在主从复制中用到)

  • 服务器运行过程中重启

debug reload
  • 关闭服务器时指定保存数据
shutdown save

7. RDB优缺点

RDB优点

  • RDB是一个紧凑压缩的二进制文件,存储效率较高
  • RDB内部存储的是redis在某个时间点的数据快照,非常适合用于数据备份,全量复制等场景
  • RDB恢复数据的速度要比AOF快很多
  • 应用:服务器中每X小时执行bgsave备份,并将RDB文件拷贝到远程机器中,用于灾难恢复

RDB缺点

  • save频率低容易丢数据,save频率高会影响请求处理速度
  • bgsave指令每次运行要执行fork操作创建子进程,要牺牲掉一些性能
  • Redis的众多版本中未进行RDB文件格式的版本不统一,有可能出现这个版本的redis生成的rbd文件,用其他版本的redis打不开

RDB存储的弊端

  • 存储数据量较大,效率较低——基于快照思想,每次读写都是全部数据,当数据量巨大时,效率非常低
  • 大数据量下的IO性能较低
  • 基于fork创建子进程,内存产生额外消耗
  • 宕机会带来数据丢失

http://chatgpt.dhexx.cn/article/4XLW5kpp.shtml

相关文章

Redis 持久化与故障恢复之rdb

一、摘要 老生常谈一下吧,redis持久化分为rdb和aof两种模式,本篇先说一说rdb模式吧,共分为三部分:1:如何触发rdb持久化, 2:rdb持久化源码, 3:rdb文件解析。 ps:本文基于r…

【Redis】Redis持久化之RDB详解(Redis专栏启动)

📫作者简介:小明java问道之路,2022年度博客之星全国TOP3,专注于后端、中间件、计算机底层、架构设计演进与稳定性建设优化。文章内容兼具广度深度、大厂技术方案,对待技术喜欢推理加验证,就职于知名金融公司…

redis持久化之rdb

redis持久化之rdb RDB相关配置rdb快照的触发条件rdb快照过程rdb文件结构rdb和aof文件的加载顺序 Redis的RDB持久化方式是指将某个时刻的内存数据进行快照,生成.rdb文件可以用于恢复快照时刻redis的内存数据。 RDB相关配置 我们可以在redis.conf中进行rdb相关的配置…

redis之AOF和RDB持久化

写在前面 redis数据存储在内存,为了避免服务器重启或者是宕机导致数据全部丢失,提供了数据持久化机制,有AOF(Append Only File)和RDB,接下来我们分别看下。 1:AOF 如下是我本地环境生成aof文件: 1.1&am…

AOFRDB

序言 主要用于查看不同备份模式可以调优的一些方式. RDB: Redis服务器在规定时间内将内存中的数据保存到指定路径的文件中,服务器重启的时候直接将RDB文件读取到内存中AOF:Redis服务器以日志的形式追加所有的REDIS操作,服务器重启的时候读取AOF文件依次执行一遍. 关于RDB最主…

RDB持久化触发机制

RDB持久化 触发机制 手动触发 手动触发分别对应save和bgsave命令: save命令:同步,在主线程中保存快照;阻塞当前Redis服务器,直到RDB过程完成为止,对于内存比较大的实例会造成长时间阻塞,线上…

Redis RDB 和 AOF

导读 RDB 和 AOF 对比: 持久化方式选择 如果对数据安全性要求极高,应该同时使用两种持久化方式。 如果可以承受若干时间内的数据丢失,可以只使用 RDB 持久化。 不建议只使用 AOF 持久化,因为定时生成 RDB 快照(s…

java读取rdb_剖析Redis RDB文件

通过redis-cli中执行save或者bgsave可以得到RDB文件(文件名由配置文件中dbfilename指定,例如dbfilename "dump.rdb"),这个文件包含Redis实例中全量的数据,那么dump.rdb的文件格式大概是什么样的呢? RDB文件定义 获取RDB…

Redis RDB文件解析

Redis RDB是什么 Redis rdb是Redis快照存储持久化方式,具体就是将Redis某一时刻的内存数据保存到硬盘的文件当中,默认保存的文件名为dump.rdb,而在Redis服务器启动时,会重新加载dump.rdb文件的数据到内存当中恢复数据&#xff0c…

RDB 持久化详解

文章目录 持久化的执行SAVE:阻塞服务器并创建RDB文件BGSAVE:以非阻塞方式创建RDB文件通过配置文件自动创建RDB文件查看最近持久化时间 RDB优化配置1. save2. stop-write-on-bgsave-error3. rdbcompression4. rdbchecksum5. sanitize-dump-payload6. dbfi…

RDB持久化

RDB持久化 一、RDB快照实现二、快照用法三、执行快照时的数据修改四、RDB 和 AOF 合体 一、RDB快照实现 Redis 是内存数据库,但是它为数据的持久化提供了两个技术。 分别是「 AOF 日志和 RDB 快照」。 这两种技术都会用各用一个日志文件来记录信息,但…

RDB底层原理

Redis服务器自动保存功能的实现原理及文件中的各个组成部分 因为Redis是内存数据库,它将自己的数据库状态储存在内存里 面,所以如果不想办法将储存在内存中的数据库状态保存到磁盘里面, 那么一旦服务器进程退出,服务器中的数据库…

Redis持久化原理(RDB)

在上一篇文章中,介绍了Redis的内存模型很重要,从这篇文章开始,将依次介绍Redis高可用相关的知识——持久化、复制(及读写分离)、哨兵、以及集群。 本文将先说明上述几种技术分别解决了Redis高可用的什么问题;然后详细介绍Redis的…

运行程序时出现 应用程序无法启动,因为应用程序的并行配置不正确

最近发布给客户的程序中,双击exe程序出现“应用程序无法启动,因为应用程序的并行配置不正确”,下面提示使用sxstrace跟踪调试应用程序运行时需要的动态库的版本和路径。 于是有以下操作: 步骤: 1.利用管理员身份运行命…

谷歌浏览器出现应用程序无法启动,因为应用程序的并行配置不正确....(亲测完美解决)

电脑开机 完整报错提示为: 应用程序无法启动,因为应用程序的并行配置不正确。有关详细信息,请参阅应用程序事件日志,或使用命令行 sxstrace.exe 工具。 刚开始也在网上找了N久的解决方案(如:启动windws Mod…

成功解决“tesseral应用程序无法打开,因为运行程序并行配置不正确”

目前网上流传的两种方法1是启动Windows Modules Installer并重启 但我的并没有处于禁用状态。 第二种是查看日志安装对应库,比较麻烦。 无意中发现第三种方式,操作更为简单。 我的tesseral版本是7.0.6,初次打开会提示如题报错,…

chrome 应用程序无法启动,因为应用程序的并行配置不正确

方法一: 开始 - 运行(输入services.msc)- 确定或回车,打开:服务(本地); 我们在服务(本地)窗口找到:Windows Modules Installer服务&#…

exe应用程序无法启动,因为应用程序的并行配置不正确

问题:exe应用程序无法启动,因为应用程序的并行配置不正确。有关详细信息,请参阅应用程序事件日志,或使用命令行 sxstrace.exe 工具。 原因查找: 1)开始→所有程序→附件→右键命令提示符→以管理员身份运…

STM32CubeMx开发之路—在线升级OTA

文章目录 运行环境简介基础知识(1/4)STM32中的程序在哪儿?进行分区总体流程图 BootLoader程序流程图分析程序编写和分析 App程序流程图分析程序编写和分析Ymodem协议代码分析 结果验证代码的下载BootLoader的下载App1的下载生成App2的.bin文件使用Xshell进行文件传输 总结源代…

基于FPGA的在线升级

基于FPGA的在线升级 在线升级的意义在线升级的策略整体框架总结参考文献结束语 在线升级的意义 首先什么是FPGA的在线升级? 所谓FPGA的在线升级其实就是不对FPGA进行常规意义下的下载程序,便可以通过一些手段更新FPGA中的程序,一般用到的工具…