Redis过期策略 实现原理

article/2025/9/14 8:33:17

https://blog.csdn.net/xiangnan129/article/details/54928672

https://www.cnblogs.com/zhangchao-letv/p/6114030.html#undefined

1、redis设置过期时间:

expire key time(以秒为单位)--这是最常用的方式
setex(String key, int seconds, String value)--字符串独有的方式

注:

  • 除了字符串自己独有设置过期时间的方法外,其他方法都需要依靠expire方法来设置时间

  • 如果没有设置时间,那缓存就是永不过期

  • 如果设置了过期时间,之后又想让缓存永不过期,使用persist key


注意:
第一章中各个小节的内容转自
https://www.cnblogs.com/zhangchao-letv/p/6114030.html#undefined


1.1 4个设置过期时间的命令:

Redis 有四个不同的命令可以用于设置键的生存时间(键可以存在多久)过期时间(键什么时候会被删除) :

  • EXPlRE 命令用于将键key 的生存时间设置为ttl 秒。
  • PEXPIRE 命令用于将键key 的生存时间设置为ttl 毫秒。
  • EXPIREAT < timestamp> 命令用于将键key 的过期时间设置为timestamp所指定的秒数时间戳。
  • PEXPIREAT < timestamp > 命令用于将键key 的过期时间设置为timestamp所指定的毫秒数时间戳。

虽然有多种不同单位和不同形式的设置命令,但实际上EXPlRE、PEXPlRE 、EXPIREAT三个命令都是使用PEXPlREAT 命令来实现的:无论客户端执行的是以上四个命令中的哪一个, 经过转换之后,最终的执行效果都和执行PEXPlREAT 命令一样。
在这里插入图片描述

1.2 保存过期时间

redisDB结构的expires字典 保存了数据库中所有键的过期时间,我们称这个字典为过期字典

  • 过期字典的键是一个指针,这个指针指向键空间中的某个键对象( 也即是某个数据库键)。

  • 过期字典的值是一个long long 类型的整数,这个整数保存了键所指向的数据库键的过期时间:一个毫秒精度的UNIX 时间戳

一个带有过期字典的数据库例子:

  • 键空间保存了数据库中的所有键值对
  • 过期字典则保存了数据库键的过期时间。

过期字典保存了两个键值对:

  • 第一个键值对的键为alphabet 键对象,值为1385877600000 ,这表示数据库键alphabet 的过期时间为1385877600000 (2013年12月1日零时)。
  • 第二个键值对的键为book键对象,值为1388556000000,这表示数据库键book的过期时间为1388556000000(2014年1月1日零时)。

当客户端执行PEXPIREAT 命令(或者其他三个会转换成PEXPIREAT命令的命令)为一个数据库键设置过期时间时,服务器 会在 数据库 的 过期字典 中关联给定的数据库键和过期时间

举个例子, 如果在服务器执行以下命令之后:

redis> PEXPIREAT message 1 391234400000
(integer) 1

过期字典将新增一个键值对,其中键为message键对象,而值则为1391234400000(2014年2月1日零时)

在这里插入图片描述

1.3 移除过期时间

PERSIST命令可以移除一个键的过期时间:

PERSIST命令就是PEXPIREAT命令的反操作: PERSIST 命令在过期字典中查找给定的键,并解除键和值(过期时间)在过期字典中的关联。

举个例子,服务器执行以下命令之后:

redis> PERSIST book
(integer) 1

当PERSIST命令执行之后,过期字典中原来的book键值对消失了,这代表数据库键book的过期时间已经被移除。
在这里插入图片描述

1.4 过期键的判定

通过过期字典,程序可以用以下步骤检查一个给定键是否过期:

1 ) 检查给定键是否存在于过期字典:如果存在,那么取得键的过期时间。

2 ) 检查当前UNIX 时间戳是否大于键的过期时间: 如果是的话,那么键已经过期;否则的话,键未过期。

注意:

实现过期键判定的另一种方法是使用TTL 命令或者PTTL 命令,比如说,如采对某个键执行TTL 命令,并且命令返回的位大于等于0 ,那么说明该键未过期。在实际中, Redis检查键是否过期的方法和is_expired函数所描述的方法一致,因为直接访问字典比执行一个命令稍微快一些。

2、三种过期策略:

a.定时删除

  • 含义:在设置key的过期时间的同时,为该key创建一个定时器,让定时器在key的过期时间来临时,对key进行删除

  • 优点:保证内存被尽快释放

  • 缺点:

    • 若过期key很多,删除这些key会占用很多的CPU时间,在CPU时间紧张的情况下,CPU不能把所有的时间用来做要紧的事儿,还需要去花时间删除这些key
    • 定时器的创建耗时,若为每一个设置过期时间的key创建一个定时器(将会有大量的定时器产生),性能影响严重

b.懒汉式删除

  • 含义:key过期的时候不删除,每次通过key获取值的时候去检查是否过期,若过期,则删除,返回null。

  • 优点:删除操作只发生在通过key取值的时候发生,而且只删除当前key,所以对CPU时间的占用是比较少的,而且此时的删除是已经到了非做不可的地步

  • 缺点:若大量的key在超出超时时间后,很久一段时间内,都没有被获取过,那么可能发生内存泄露无用的垃圾占用了大量的内存

c.定期删除

  • 含义:每隔一段时间执行一次删除过期key操作

  • 优点:

    • 通过限制删除操作的时长和频率,来减少删除操作对CPU时间的占用–处理"定时删除"的缺点
    • 定期删除过期key–处理"懒汉式删除"的缺点
  • 缺点:

    • 在内存友好方面,不如"定时删除"(会造成一定的内存占用,但是没有懒汉式那么占用内存)
    • 在CPU时间友好方面,不如"懒汉式删除"(会定期的去进行比较和删除操作,cpu方面不如懒汉式,但是比定时好)
  • 难点:合理设置删除操作的执行时长(每次删除执行多长时间)和执行频率(每隔多长时间做一次删除)(这个要根据服务器运行情况来定了),每次执行时间太长,或者执行频率太高对cpu都是一种压力。

    每次进行定期删除操作执行之后,需要记录遍历循环到了哪个标志位,以便下一次定期时间来时,从上次位置开始进行循环遍历

memcached只是用了惰性删除,而redis同时使用了惰性删除与定期删除,这也是二者的一个不同点(可以看做是redis优于memcached的一点);

对于懒汉式删除而言,并不是只有获取key的时候才会检查key是否过期,在某些设置key的方法上也会检查(eg.setnx key2 value2:该方法类似于memcached的add方法,如果设置的key2已经存在,那么该方法返回false,什么都不做;如果设置的key2不存在,那么该方法设置缓存key2-value2。假设调用此方法的时候,发现redis中已经存在了key2,但是该key2已经过期了,如果此时不执行删除操作的话,setnx方法将会直接返回false,也就是说此时并没有重新设置key2-value2成功,所以对于一定要在setnx执行之前,对key2进行过期检查)。

3、Redis采用的过期策略

懒汉式删除+定期删除

懒汉式删除流程:

  • 在进行get或setnx等操作时,先检查key是否过期;
  • 若过期,删除key,然后执行相应操作;
  • 若没过期,直接执行相应操作;

定期删除流程(简单而言,对指定个数个库的每一个库随机删除小于等于指定个数个过期key):

  • 遍历每个数据库(就是redis.conf中配置的 "database"数量默认为16

  • 检查当前库中的指定个数个key(默认是每个库检查20个key,注意相当于该循环执行20次,循环体是下边的描述)

    • 如果当前库中没有一个key设置了过期时间,直接执行下一个库的遍历
    • 随机获取一个设置了过期时间的key,检查该key是否过期,如果过期,删除key
    • 判断定期删除操作是否已经达到指定时长,若已经达到,直接退出定期删除。

对于定期删除,在程序中有一个全局变量current_db来记录下一个将要遍历的库,假设有16个库,我们这一次定期删除遍历了10个,那此时的current_db就是11,下一次定期删除就从第11个库开始遍历,假设current_db等于15了,那么之后遍历就再从0号库开始(此时current_db==0)

在实际中,如果我们要自己设计过期策略,在使用懒汉式删除+定期删除时,控制时长和频率这个尤为关键,需要结合服务器性能,已经并发量等情况进行调整,以致最佳。

4、主从服务器删除过期键处理

转自
https://blog.csdn.net/qq_35981283/article/details/70156422

参考书上说的有三种:RDB持久化、AOF持久化和复制功能。

1、RDB:

  1. 主服务器模式运行在载入RDB文件时,程序会检查文件中的键,只会加载未过期的,过期的会被忽略,所以RDB模式下过期键不会对主服务器产生影响。
  2. 从服务器运行载入RDB文件时,会载入所有键,包括过期和未过期。当主服务器进行数据同步的时候从服务器的数据会被清空,所以RDB文件的过期键一般不会对从服务器产生影响。

2、AOF:
AOF文件不会受过期键的影响。如果有过期键未被删除,会执行以下动作:

客户端请求时(过期键):

  1. 从数据库中删除被访问的过期键;
  2. 追加一条DEL 命令到AOF文件
  3. 向执行请求的客户端回复nil(空)

3、复制:

  1. 主服务器删除过期键之后,向从服务器发送一条DEL指令,告知删除该过期键。

  2. 从服务器接收到get指令的时候不会对过期键进行处理只会当做未过期键一样返回。(为了保持主从服务器数据的一致性)

  3. 从服务器只有接到主服务器发送的DEL指令后才会删除过期键。

参考书籍:《Redis设计与实现》黄健宏著


http://chatgpt.dhexx.cn/article/BvbFSWbG.shtml

相关文章

redis过期策略有哪些?内存淘汰机制有哪些?

文章目录 前言过期策略&#xff1a;定期删除惰性删除redis中的key和数据过期后&#xff0c;为什么内存空间还没有释放呢&#xff1f; 定期删除惰性删除 如果内存空间将要满的时候该怎么办呢&#xff1f;设置过期时间的key中所有的key中 小结 前言 小咸儿的项目中使用redis来做缓…

redis过期策略及持久化机制

文章目录 一、Redis设置过期时间二、Redis的过期策略1、定时过期2、惰性过期3、定期过期 三、Redis的8种内存淘汰策略LRU与LFU 四、Redis 的持久化机制1、RDB快照持久化&#xff08;redis默认&#xff09;2、AOF追加文件持久化3、AOF和RDB都开启 一、Redis设置过期时间 Redis有…

Redis过期删除策略和内存淘汰策略

目录 一、过期删除策略 1、如何设置过期时间&#xff1f; 2、如何判定 key 已过期了&#xff1f; 3、过期删除策略有哪些&#xff1f; 1、定时删除策略 2、惰性删除策略 3、定期删除策略 4、Redis 过期删除策略 5、Redis 是怎么实现定期删除 1、这个间隔检查的时间是…

Redis过期策略与淘汰策略

redis为什么这么快&#xff0c;原因之一就是Redis操作都是基于内存的&#xff0c;既然是基于内存的&#xff0c;而内存的大小是有限的&#xff0c;当内存不足或占用过高时&#xff0c;Redis会采用内存淘汰机制进行数据淘汰。 一、Redis的过期策略 Redis在设置缓存数据时指定了…

Redis过期策略及内存淘汰机制

redis中缓存的数据是有过期时间的&#xff0c;当缓存数据失效时&#xff0c;redis会删除过期时间以节省内存&#xff0c;那redis是如何删除过期数据的&#xff1f;删除过期数据的策略是什么&#xff1f;Redis过期策略是怎么样的&#xff1f; redis为什么这么快&#xff0c;原因…

Redis过期策略详解

为什么要有过期策略&#xff1f; 因为我们的redis是一个内存型数据库&#xff0c;我们的数据都是放在内存里面的!但是内存是有大小的! 比如&#xff0c;redis有个很重要的配置文件&#xff0c;redis.conf&#xff0c;里面有个配置 # maxmemory <bytes> //redis占用的最…

Redis过期策略以及内存淘汰机制

redis所以的操作都是基于内存的&#xff0c;而每台机器的内存大小都有限制&#xff0c;且全没有磁盘空间那么大&#xff0c;所以如何高效的使用内存对于redis来说是非常关键的。 一、Redis过期策略 如果我们一直往redis中存储数据的话&#xff0c;总会有占满内存的那一刻&…

redis过期策略和内存淘汰机制

Redis的过期策略 1 定时过期 每个设置过期时间的key都需要创建一个定时器&#xff0c;到过期时间就会立即清除。该策略可以立即清除过期的数据&#xff0c;对内存很友好&#xff1b;但是会占用大量的CPU资源去处理过期的数据&#xff0c;从而影响缓存的响应时间和吞吐量。 2…

Redis 过期策略+conf 记录

一&#xff1a;redis的过期策略 三种过期键删除策略 1&#xff09;定时删除&#xff1a;创建一个定时器&#xff0c;到时间立即执行删除操作&#xff08;对内存友好&#xff0c;因为能保证过期了立马删除&#xff0c;但是对cpu不友好&#xff09; 2&#xff09;惰性删除&…

Redis之过期策略

一、设置过期时间 Redis对存储值的过期处理实际上是针对该值的键&#xff08;key&#xff09;处理的&#xff0c;即时间的设置也是设置key的有效时间。Expires字典保存了所有键的过期时间&#xff0c;Expires也被称为过期字段。 expire key time(以秒为单位)--这是最常用的方式…

redis的过期策略【转】

转&#xff1a;Redis的过期策略以及内存淘汰机制_Felix-CSDN博客_redis过期策略和内存淘汰机制 我们知道&#xff0c;redis中缓存的数据是有过期时间的&#xff0c;当缓存数据失效时&#xff0c;redis会删除过期数据以节省内存&#xff0c;那redis是怎样删除过期数据的&#xf…

主成分分析;主成分回归分析——Hald水泥问题;主成分分析案例——各地区普通高等教育发展水平综合评价;matlab

目的 对原变量加以“改造”&#xff0c;在不致损失原变量太多信息的条件下尽可能地降低变量地维数&#xff0c;即用较少的“新变量”代替原来地各变量。通过变换&#xff1a;用低维&#xff08;主成分&#xff09;近似高维&#xff08;较全面&#xff09;信息。 思想 若有二维…

hadoopHA

一、HA介绍 HA(High Available), 高可用&#xff0c;是保证业务连续性的有效解决方案&#xff0c;一般有两个或两个以上的节点&#xff0c;分为活动节点&#xff08;Active&#xff09;及备用节点&#xff08;Standby&#xff09;。 hadoop2.x之后Clouera提出了QJM/Qurom Jou…

AIDL 和 HIDL

AIDL概述 aidl是常用的android IPC方式&#xff0c;本文将根据一个demo来解析下AIDL的原理。 为了便于读者理解&#xff0c;本文不会探究Binder的实现细节&#xff0c;可以认为Binder在此文的分析中被看做是一个“黑盒”。 有一定经验的读者可以直接到文末看总结&#xff0c;最…

Linux守护进程HALD

hal&#xff08;hardware abstract lever&#xff09;硬件抽象。 但是Linux的hal运行于用户空间作为一个daemon进程。监听一个socket接口。等待udev发来的通知。 udev为设备加载驱动&#xff0c;设备可用后&#xff0c;往往有udev的规则&#xff0c;让udev通知hald表示设备变动…

.har文件使用

背景 在做web开发的过程中, 查看http请求/响应是非常常见的操作. 有时可能有这样的需求: 将某次操作的请求/响应保存下来, 给别人看或者分析, 那你可能需要har文件. 另外你还需要Fiddler来查看har文件内容 操作截图 在"Network"面板中, 将某次操作的请求保存为har…

head 命令

转载&#xff1a;每天一个linux命令&#xff08;14&#xff09;&#xff1a;head 命令_weixin_33794672的博客-CSDN博客head 与 tail 就像它的名字一样的浅显易懂&#xff0c;它是用来显示开头或结尾某个数量的文字区块&#xff0c;head 用来显示档案的开头至标准输出中&#x…

颜色查找表LUT

查找表&#xff08;LUT&#xff0c;LookUp Table&#xff09;是图像颜色转换的强大工具&#xff0c;在许多图形和视频编辑器中使用。 2D LUT CLUT-from-images 2D LUT生成 def generate_identify_color_matrix(width, height, channel):img np.zeros((width, height, chan…

Hadoop HA介绍

1、HA 概述 所谓HA&#xff08;High Available&#xff09;&#xff0c;即高可用&#xff08;7*24小时不中断服务&#xff09;。实现高可用最关键的策略是消除单点故障。Hadoop-HA严格来说应该分成各个组件的HA机制&#xff1a; HDFS的HA和YARN的HA。Hadoop2.0之前&#xff0c…

HAL 库

HAL库 1、初识HAL库 1.1 CMSIS 简介 CMSIS&#xff08;微控制器软件接口标准&#xff09;&#xff1a;Crotex Microcontroller Software Interface Standard&#xff0c;是由ARM和与其合作的芯片厂商、软件工具厂商&#xff0c;共同制定的标准 ARM官方提供的CMSIS规范架构 …