redis过期策略及持久化机制

article/2025/9/14 8:36:31

文章目录

      • 一、Redis设置过期时间
      • 二、Redis的过期策略
          • 1、定时过期
          • 2、惰性过期
          • 3、定期过期
      • 三、Redis的8种内存淘汰策略
          • LRU与LFU
      • 四、Redis 的持久化机制
          • 1、RDB快照持久化(redis默认)
          • 2、AOF追加文件持久化
          • 3、AOF和RDB都开启

一、Redis设置过期时间

Redis有四个不同的命令可以用于设置键的生存时间:

  • EXPIRE<key><ttl>命令用于将键key的生存时间设置为ttl秒。
  • PEXPIRE<key><ttl>命令用于将键key的生存时间设置为ttl毫秒。
  • EXPIREAT<key><timestamp>命令用于将键key的过期时间设置为timestamp所指定的秒数时间戳。
  • PEXPIREAT<key><timestamp>命令用于将键key的过期时间设置为timestamp所指定的毫秒数时间戳。

实际上EXPIRE、PEXPIRE、EXPIREAT三个命令都是使用PEXPIREAT命令来实现的。

PERSIST key , 设置key 永不过期。

二、Redis的过期策略

1、定时过期

该策略可以立即清除过期的数据
每个设置过期时间的key都需要创建一个定时器,到过期时间就会立即对key进行清除,对内存很友好,但是会占用大量的CPU资源去处理过期的数据,从而影响缓存的响应时间和吞吐量。

2、惰性过期

只有当访问一个key时,才会判断该key是否已过期,过期则清除
该策略可以最大化地节省CPU资源,却对内存非常不友好。极端情况可能出现大量的过期key没有再次被访问,从而不会被清除,占用大量内存。

3、定期过期

每隔一定的时间,会扫描一定数量的数据库的expires字典中一定数量的key,并清除其中已过期的key。该策略是前两者的一个折中方案。通过调整定时扫描的时间间隔和每次扫描的限定耗时,可以在不同情况下使得CPU和内存资源达到最优的平衡效果。

expires字典会保存所有设置了过期时间的key的过期时间数据,其中,key是指向键空间中的某个键的指针,value是该键的毫秒精度的UNIX时间戳表示的过期时间。键空间是指该Redis集群中保存的所有键。

Redis中同时使用了惰性过期和定期过期两种过期策略

三、Redis的8种内存淘汰策略

Redis的内存淘汰策略是指在Redis的用于缓存的内存不足时,怎么处理需要新写入且需要申请额外空间的数据。

  • 1)noeviction(默认策略):对于写请求不再提供服务,直接返回错误(DEL请求和部分特殊请求除外)
  • 2)allkeys-lru:从所有key中使用LRU算法进行淘汰
  • 3)volatile-lru:从设置了过期时间的key中使用LRU算法进行淘汰
  • 4)allkeys-random:从所有key中随机淘汰数据
  • 5)volatile-random:从设置了过期时间的key中随机淘汰
  • 6)volatile-ttl:在设置了过期时间的key中,根据key的过期时间进行淘汰,越早过期的越优先被淘汰
  • 7)volatile-lfu:4.0版本新增,当内存不足以容纳新写入数据时,在过期的key中,使用LFU算法进行删除key。
  • 8)allkeys-lfu:4.0版本新增,当内存不足以容纳新写入数据时,从所有key中使用LFU算法进行淘汰;

注:
1)使用volatile-lru、volatile-random、volatile-ttl这三种策略时,如果没有key可以被淘汰,则和noeviction一样返回错误;
2)4.x 后支持LFU策略,最少频率使用
3)redis支持运行时通过命令动态修改内存大小:
127.0.0.1:6379> config set maxmemory 100mb

LRU与LFU

LRU(Least recently used,最近最少使用)
LRU算法根据数据的历史访问记录来进行淘汰数据,其核心思想是“如果数据最近被访问过,那么将来被访问的几率也更高”。
基本思路
新数据插入到列表头部;
每当缓存命中(即缓存数据被访问),则将数据移到列表头部;
当列表满的时候,将列表尾部的数据丢弃。

LFU(Least Frequently Used 最少频率使用)
它是基于“如果一个数据在最近一段时间内使用次数很少,那么在将来一段时间内被使用的可能性也很小”的思路。
LFU需要定期衰减。

四、Redis 的持久化机制

为了避免数据丢失了,Redis提供了RDBAOF两种持久化机制,即把数据保存到磁盘。

1、RDB快照持久化(redis默认)

RDB,就是把内存数据以快照的形式保存到磁盘上。
在指定的时间间隔内,执行指定次数的写操作,将内存中的数据集快照写入磁盘中,它是Redis默认的持久化方式。执行完操作后,在指定目录下会生成一个dump.rdb文件,Redis 重启的时候,通过加载dump.rdb文件来恢复数据。

RDB触发机制主要有以下几种:

  • 手动触发(一般不会用):
    save:同步,会阻塞当前redis服务
    bgsave :异步,redis进程执行fork操作创建子进程
  • 自动触发:
    save m n (m秒内数据集存在n次修改,自动触发bgsave)

RDB 的优点:

  • RDB 在恢复大数据集时,速度比 AOF 的恢复速度要快。 适合大规模的数据恢复场景,如备份,全量复制等。
  • RDB可以最大化Redis的性能。
    因为父进程在保存RDB文件时唯一要做的就是fork出一个子进程,然后这个子进程就会处理接下来的所有保存工作,父进程无需执行任何磁盘I/O操作。但是如果数据集比较大的时候,fork可以能比较耗时,造成服务器在一段时间内停止处理客户端的请求。

RDB缺点:

  • 没办法做到实时持久化/秒级持久化。
  • 新老版本存在RDB格式兼容问题
2、AOF追加文件持久化

AOF(append only file) 持久化,采用日志的形式来记录每个写操作,追加到文件中,重启时再重新执行AOF文件中的命令来恢复数据。它主要解决数据持久化的实时性问题。默认是不开启的。

AOF的优点:

  • 数据的一致性和完整性更高

AOF的缺点:

  • 记录的内容越多,文件越大,数据恢复变慢。

redis可以通过配置项开启AOF机制,如下:

# 可以通过修改redis.conf配置文件中的appendonly参数开启
appendonly yes
# AOF文件的保存位置和RDB文件的位置相同,都是通过dir参数设置的。
dir ./
# 默认的文件名是appendonly.aof,可以通过appendfilename参数修改
appendfilename appendonly.aof

AOF的工作流程:
在这里插入图片描述

(1)所有的写入命令会追加(append)到aof_buf(缓冲区)中。
(2)AOF缓冲区根据对应的策略向硬盘做同步(sync)操作。
(3)随着AOF文件越来越大,需要定期对AOF文件进行重写(rewrite),达到压缩的目的。
(4)当Redis服务器重启时,可以加载AOF文件进行数据恢复(load)。

3、AOF和RDB都开启

redis允许我们同时使用两种机制,即使AOF和RDB都开启了,redis重启的时候,也是优先通过AOF进行数据恢复的,因为aof数据比较完整。

通常情况下我们会设置AOF机制为everysec 每秒写入,则最坏仅会丢失一秒内的数据。

注:如果先开启了RDB,再开启AOF,RDB先执行了持久化,那么RDB文件中的内容会被AOF覆盖掉。


http://chatgpt.dhexx.cn/article/6hrFeQC7.shtml

相关文章

Redis过期删除策略和内存淘汰策略

目录 一、过期删除策略 1、如何设置过期时间? 2、如何判定 key 已过期了? 3、过期删除策略有哪些? 1、定时删除策略 2、惰性删除策略 3、定期删除策略 4、Redis 过期删除策略 5、Redis 是怎么实现定期删除 1、这个间隔检查的时间是…

Redis过期策略与淘汰策略

redis为什么这么快,原因之一就是Redis操作都是基于内存的,既然是基于内存的,而内存的大小是有限的,当内存不足或占用过高时,Redis会采用内存淘汰机制进行数据淘汰。 一、Redis的过期策略 Redis在设置缓存数据时指定了…

Redis过期策略及内存淘汰机制

redis中缓存的数据是有过期时间的,当缓存数据失效时,redis会删除过期时间以节省内存,那redis是如何删除过期数据的?删除过期数据的策略是什么?Redis过期策略是怎么样的? redis为什么这么快,原因…

Redis过期策略详解

为什么要有过期策略&#xff1f; 因为我们的redis是一个内存型数据库&#xff0c;我们的数据都是放在内存里面的!但是内存是有大小的! 比如&#xff0c;redis有个很重要的配置文件&#xff0c;redis.conf&#xff0c;里面有个配置 # maxmemory <bytes> //redis占用的最…

Redis过期策略以及内存淘汰机制

redis所以的操作都是基于内存的&#xff0c;而每台机器的内存大小都有限制&#xff0c;且全没有磁盘空间那么大&#xff0c;所以如何高效的使用内存对于redis来说是非常关键的。 一、Redis过期策略 如果我们一直往redis中存储数据的话&#xff0c;总会有占满内存的那一刻&…

redis过期策略和内存淘汰机制

Redis的过期策略 1 定时过期 每个设置过期时间的key都需要创建一个定时器&#xff0c;到过期时间就会立即清除。该策略可以立即清除过期的数据&#xff0c;对内存很友好&#xff1b;但是会占用大量的CPU资源去处理过期的数据&#xff0c;从而影响缓存的响应时间和吞吐量。 2…

Redis 过期策略+conf 记录

一&#xff1a;redis的过期策略 三种过期键删除策略 1&#xff09;定时删除&#xff1a;创建一个定时器&#xff0c;到时间立即执行删除操作&#xff08;对内存友好&#xff0c;因为能保证过期了立马删除&#xff0c;但是对cpu不友好&#xff09; 2&#xff09;惰性删除&…

Redis之过期策略

一、设置过期时间 Redis对存储值的过期处理实际上是针对该值的键&#xff08;key&#xff09;处理的&#xff0c;即时间的设置也是设置key的有效时间。Expires字典保存了所有键的过期时间&#xff0c;Expires也被称为过期字段。 expire key time(以秒为单位)--这是最常用的方式…

redis的过期策略【转】

转&#xff1a;Redis的过期策略以及内存淘汰机制_Felix-CSDN博客_redis过期策略和内存淘汰机制 我们知道&#xff0c;redis中缓存的数据是有过期时间的&#xff0c;当缓存数据失效时&#xff0c;redis会删除过期数据以节省内存&#xff0c;那redis是怎样删除过期数据的&#xf…

主成分分析;主成分回归分析——Hald水泥问题;主成分分析案例——各地区普通高等教育发展水平综合评价;matlab

目的 对原变量加以“改造”&#xff0c;在不致损失原变量太多信息的条件下尽可能地降低变量地维数&#xff0c;即用较少的“新变量”代替原来地各变量。通过变换&#xff1a;用低维&#xff08;主成分&#xff09;近似高维&#xff08;较全面&#xff09;信息。 思想 若有二维…

hadoopHA

一、HA介绍 HA(High Available), 高可用&#xff0c;是保证业务连续性的有效解决方案&#xff0c;一般有两个或两个以上的节点&#xff0c;分为活动节点&#xff08;Active&#xff09;及备用节点&#xff08;Standby&#xff09;。 hadoop2.x之后Clouera提出了QJM/Qurom Jou…

AIDL 和 HIDL

AIDL概述 aidl是常用的android IPC方式&#xff0c;本文将根据一个demo来解析下AIDL的原理。 为了便于读者理解&#xff0c;本文不会探究Binder的实现细节&#xff0c;可以认为Binder在此文的分析中被看做是一个“黑盒”。 有一定经验的读者可以直接到文末看总结&#xff0c;最…

Linux守护进程HALD

hal&#xff08;hardware abstract lever&#xff09;硬件抽象。 但是Linux的hal运行于用户空间作为一个daemon进程。监听一个socket接口。等待udev发来的通知。 udev为设备加载驱动&#xff0c;设备可用后&#xff0c;往往有udev的规则&#xff0c;让udev通知hald表示设备变动…

.har文件使用

背景 在做web开发的过程中, 查看http请求/响应是非常常见的操作. 有时可能有这样的需求: 将某次操作的请求/响应保存下来, 给别人看或者分析, 那你可能需要har文件. 另外你还需要Fiddler来查看har文件内容 操作截图 在"Network"面板中, 将某次操作的请求保存为har…

head 命令

转载&#xff1a;每天一个linux命令&#xff08;14&#xff09;&#xff1a;head 命令_weixin_33794672的博客-CSDN博客head 与 tail 就像它的名字一样的浅显易懂&#xff0c;它是用来显示开头或结尾某个数量的文字区块&#xff0c;head 用来显示档案的开头至标准输出中&#x…

颜色查找表LUT

查找表&#xff08;LUT&#xff0c;LookUp Table&#xff09;是图像颜色转换的强大工具&#xff0c;在许多图形和视频编辑器中使用。 2D LUT CLUT-from-images 2D LUT生成 def generate_identify_color_matrix(width, height, channel):img np.zeros((width, height, chan…

Hadoop HA介绍

1、HA 概述 所谓HA&#xff08;High Available&#xff09;&#xff0c;即高可用&#xff08;7*24小时不中断服务&#xff09;。实现高可用最关键的策略是消除单点故障。Hadoop-HA严格来说应该分成各个组件的HA机制&#xff1a; HDFS的HA和YARN的HA。Hadoop2.0之前&#xff0c…

HAL 库

HAL库 1、初识HAL库 1.1 CMSIS 简介 CMSIS&#xff08;微控制器软件接口标准&#xff09;&#xff1a;Crotex Microcontroller Software Interface Standard&#xff0c;是由ARM和与其合作的芯片厂商、软件工具厂商&#xff0c;共同制定的标准 ARM官方提供的CMSIS规范架构 …

HIDL(HAL interface definition langguage)

HIDL的相关介绍 HIDL的全称是HAL interface definition language&#xff08;硬件抽象层接口定义语言&#xff09;&#xff0c;在此之前 Android 有AIDL&#xff0c;架构在Android binder 之上&#xff0c;用来定义Android 基于Binder通信的Client 与Service之间的接口。HIDL…

内部类

一、非静态内部类。 1、修饰符 非静态内部类有四个作用域&#xff0c;所以有四个修饰符。 private : 只能在外部类的内部使用。 protected : 可被与外部类处于同一个包中的其他类和外部类的子类所访问。 省略 : 只能被与外部类处于同一个包中的其他类访问。 public : 可…