redis的incr+expire的坑

article/2025/9/25 19:51:48

背景

用户需要进行ocr识别,为了防止接口被刷,这里面做了一个限制(每分钟调用次数不能超过xxx次)。 经过调研后,决定使用redis的incr和expire来实现这个功能

说明:以下代码使用golang实现

第一版代码

// 执行ocr调用
func (o *ocrSvc)doOcr(ctx context.Context,uid int)(interface,err){// 如果调用次数超过了指定限制,就直接拒绝此次请求ok,err := o.checkMinute(uid)if err != nil {return nil,err}if !ok {return nil,errors.News("frequently called")}// 执行第三方ocr调用(伪代码)ocrRes,err := doOcrByThird()if err != nil {return nil,err}// 调用成功则执行 incr操作if err := o.redis.Incr(ctx,buildUserOcrCountKey(uid));err!=nil{return nil,err}return ocrRes,nil
}// 校验每分钟调用次数是否超过
func (o *ocrSvc)checkMinute (ctx context.Context,uid int) (bool, error) {minuteCount, err := o.redis.Get(ctx, buildUserOcrCountKey(uid))if err != nil && !errors.Is(err, eredis.Nil) {elog.Error("checkMinute: redis.Get failed", zap.Error(err))return false, constx.ErrServer}if errors.Is(err, eredis.Nil) {// 过期了,或者没有该用户的调用次数记录(设置初始值为0,过期时间为1分钟)o.redis.Set(ctx, buildUserOcrCountKey(uid),0,time.Minute)return true, nil}// 已经超过每分钟的调用次数if cast.ToInt(minuteCount) >= config.UserOcrMinuteCount() {elog.Warn("checkMinute: user FrequentlyCalled", zap.Int64("uid", uid), zap.String("minuteCount", minuteCount))return false, nil}return true, nil
}

详解

这一版代码我先不说存在哪些问题,大家可以先自行YY下

说明:

  1. 假设当前用户在进行ocr识别时,未超过调用次数。但是在redis中的ttl还剩1秒钟
  2. 然后调用第三方ocr进行识别
  3. 识别成功后,调用次数+1。这里就很有可能出问题,比如:在incr的时候刚好该key过期了,那么redis是怎么做的呢,它会将该key的值设置为1,ttl设置为-1,ttl设置为-1,ttl设置为-1(重要的事情说三遍)
  4. 这时候bug就出现了,用户的调用次数一直在涨,并且也不会过期,达到临界值时用户的请求就会被拒掉

总结

以上代码说明了一个问题,也就是incr和expire必须具备原子性。而我们第一版代码显然在边界条件下是不满足要求的,极有可能造成bug,影响用户体验,强烈不推荐使用,接下来引入修正后的代码(lua脚本)

第二版代码

吃过第一版代码的亏后,我们决定将incr+expire放在lua脚本中执行。废话不多,直接上代码

// 执行ocr调用
func (o *ocrSvc)doOcr(ctx context.Context,uid int)(interface,err){// 如果调用次数超过了指定限制,就直接拒绝此次请求ok,err := o.checkMinute(uid)if err != nil {return nil,err}if !ok {return nil,errors.News("frequently called")}// 执行第三方ocr调用(伪代码)ocrRes,err := doOcrByThird()if err != nil {return nil,err}// 调用成功则执行 incr操作if err := o.redis.Incr(ctx,buildUserOcrCountKey(uid));err!=nil{return nil,err}return ocrRes,nil
}func (b *baiduOcrSvc) incrCount(ctx context.Context, uid int64) error {/*此段lua脚本的作用:第一步,先执行incr操作local current = redis.call('incr',KEYS[1])第二步,看下该key的ttllocal t = redis.call('ttl',KEYS[1]); 第三步,如果ttl为-1(永不过期)if t == -1 then则重新设置过期时间为 「一分钟」redis.call('expire',KEYS[1],ARGV[1])end;*/script := redis.NewScript(`local current = redis.call('incr',KEYS[1]);local t = redis.call('ttl',KEYS[1]); if t == -1 thenredis.call('expire',KEYS[1],ARGV[1])end;return current`)var (expireTime = 60 // 60 秒)_, err := script.Run(ctx, b.redis.Client(), []string{buildUserOcrCountKey(uid)}, expireTime).Result()if err != nil {return err}return nil
}// 校验每分钟调用次数是否超过
func (o *ocrSvc)checkMinute (ctx context.Context,uid int) (bool, error) {minuteCount, err := o.redis.Get(ctx, buildUserOcrCountKey(uid))if err != nil && !errors.Is(err, eredis.Nil) {elog.Error("checkMinute: redis.Get failed", zap.Error(err))return false, constx.ErrServer}if errors.Is(err, eredis.Nil) {// 第二版代码中在check时不进行初始化操作// 过期了,或者没有该用户的调用次数记录(设置初始值为0,过期时间为1分钟)// o.redis.Set(ctx, buildUserOcrCountKey(uid),0,time.Minute)return true, nil}// 已经超过每分钟的调用次数if cast.ToInt(minuteCount) >= config.UserOcrMinuteCount() {elog.Warn("checkMinute: user FrequentlyCalled", zap.Int64("uid", uid), zap.String("minuteCount", minuteCount))return false, nil}return true, nil
}

总结

经过一番折腾后,看样子是解决了最棘手的问题。给你们留一个问题,第二版代码你们觉得还存在哪些问题呢?欢迎在评论区留言

写作不易,烦请点个赞喽

 

 

原文链接:redis的incr+expire的坑 - 掘金


http://chatgpt.dhexx.cn/article/AyLp9TDl.shtml

相关文章

AMBA-AXI(一)burst 传输-INCR/WRAP/Fixed

💡 Note: 本文是根据AXI协议IHI0022F_b_amba_axi_protocol_spec.pdf(issue F)整理的。 主要是分享AXI3.0和4.0部分。 如果内容有问题请大家在评论区中指出,有补充或者疑问也可以发在评论区,互相学习 &#…

redis中的incr和incrBy

今天遇到这样几个例子,(1)闸机上传一条交易数据时,接收流水号(不是主键)就在原来基础上自增,并且每天更换。(2)每次上传出站交易数据,闸机都要累计交易金额。 这两个例子都可以用incrBy,或是例…

Redis爬坑记(一):incr命令和expire命令的误区

关注公众号要实现的功能:限制用户的每分钟的访问次数一个有严重bug的代码:每次访问来了,就执行代码块二,当第一次访问,就走else语句,设置当前用户的次数为1,且设置该key的有效期是一分钟。 在一…

Redis INCR命令

路人甲:嘿,兄弟,知不知道redis的incr命令怎么用? 路人丙:啥?你这都不知道,不就是将key值增1嘛? 路人甲:可以一直一直一直加吗? 路人丙:…… 下图是…

《Redis系列第三篇、incr与decr使用|CSDN创作打卡》

incr与decr的效率要高于set操作,故而个人在开发过程中用作高并发的时候的限制器,效果非常nice的。 接下来看看具体用法与官方解释啊。 incr自增将存储的key数字加一 使用方法 incr testNum incr testNum incr testNum incr testNum incr testNum incr …

incr、incrby、decr、decrby命令的作用和用法

redis中incr、incrby、decr、decrby属于string数据结构,它们是原子性递增或递减操作。 incr递增1并返回递增后的结果;incrby根据指定值做递增或递减操作并返回递增或递减后的结果(incrby递增或递减取决于传入值的正负);decr递减1并返回递减后的结果&…

Redis:字符串INCR、INCRBY、INCRBYFLOAT、DECR、DECRBY命令介绍

INCR INCR key可用版本: > 1.0.0 时间复杂度: O(1)为键key对应的数字字符串(整数)加上一。 演示 如果键key不存在, 那么它的值会先被初始化为 0 , 然后再执行INCR命令。 INCR命令会返回键key对应的数…

利用Redis原子计数器incr实现计数器及接口限流

一、INCR命令介绍 Redis Incr 命令将 key 中储存的数字值增一。 如果 key 不存在,那么 key 的值会先被初始化为 0 ,然后再执行 INCR 操作。且将key的有效时间设置为长期有效 。 如果值包含错误的类型,或字符串类型的值不能表示为数字&#x…

后渗透——内网转发之利用EarthWorm与proxifier搭建正向代理服务器

EarthWorm是一款用于开启 SOCKS v5 代理服务的工具,基于标准 C 开发,可提供多平台间的转接通讯,用于复杂网络环境下的数据转发。 Proxifier是一款功能非常强大的socks5客户端,可以让不支持通过代理服务器工作的网络程序能通过HTTP…

红蓝对抗之隧道技术第二篇(reGeorg内网穿透、SSH隧道本地Socks代理、SSH远程转发、Earthworm Socks5代理、Tunna正向代理、ICMP隧道、DNS隧道、Frp穿透)

文章目录 隧道应用reGeorg内网穿透SSH本地转发(正向)场景一场景二 SSH远程转发(反向)Earthworm Socks5代理正向代理反向代理 Tunna正向代理ICMP隧道DNS隧道Frp穿透推荐阅读&工具包 隧道应用 在进行内网渗透时,由于外网主机无法直接连接内网主机,所以…

earthworm四步走(解决拨入VPN后使用burp无法抓包的问题)

一、earthworm下载路径:https://github.com/idlefire/ew 二|、解压文件 三、执行命令:ew_for_Win.exe -s ssocksd -l 8888 四、设置burp上游代理

渗透测试之反弹代理(socks代理) (Earthworm工具) (windows和linux中的代理)

反弹代理 内网渗透不光只是反弹一个shell,反弹一个端口,我们更需要对内网进行更深一步的扫描和渗透,这时候就需要设置找到一个代理服务器,充当外网和内网数据转发的节点。 所以出现了反弹代理,也叫反弹socket。 使用…

NOIP 2016 提高组 复赛 第二天 第二题 蚯蚓 earthworm AC代码(单调队列)+15分代码(排序)+35分代码(堆 大顶堆 优先队列)+85分代码(更改堆中元素)

NOIP 2016 提高组 复赛 第二天 第二题 蚯蚓 earthworm AC代码(单调队列)15分代码(排序)35分代码(堆 大顶堆 优先队列)85分代码(更改堆中元素) 总目录详见:NOIP 提高组 复赛 试题 目录 信奥 历年 在线测评地址:https://www.luogu.com.cn/problem/P…

后渗透——内网转发之利用EarthWorm与proxifier搭建反向代理服务器

EarthWorm是一款用于开启 SOCKS v5 代理服务的工具,基于标准 C 开发,可提供多平台间的转接通讯,用于复杂网络环境下的数据转发。 Proxifier是一款功能非常强大的socks5客户端,可以让不支持通过代理服务器工作的网络程序能通过HTTP…

【教程】使用Earthworm (EW) 做Socks5代理完成内网穿透

EW 是一套便携式的网络穿透工具,具有 SOCKS v5服务架设和端口转发两大核心功能,可在复杂网络环境下完成网络穿透。 考虑到该工具影响很坏,该工具永久停止更新。 介绍: 示意图: 该工具能够以“正向”、“反向”、“…

内网穿透大杀器--EarthWorm

0x00 前言如果感觉本文对你有帮助,请在文章末尾点个赞,谢谢表哥们支持! 当你在内网渗透,并且拿下一台机器的权限时,你是不是觉得已经算是一次完整的渗透了? 不来一次内网漫游,渗透是不完整的&am…

EW(EarthWorm) 反向 socks5 代理

今天本想对学校的内网服务器进行人生中第一次横向渗透,奈何情况不允许,但好歹学习了一些东西,总要写下来保存 工具: EW: https://github.com/idlefire/ew proxychains: https://github.com/rofl0r/proxychains-ng 小米随身wifi…

使用Earthworm (EW) 做Socks5代理

正向代理 1.选择合适的ew文件(将文件ew_…改为ew.exe,为了在命令行少敲几个字母),上传到边缘服务器 2.边缘服务器输入 ew.exe -s ssocksd -l 8000 3.可借助proxifier工具配置攻击机整台机器的代理(proxifier添加代理服务器,ip为边…

EarthWorm结合proxifier的使用学习

拿下一个目标机器的web权限后,如何在本机就可以通过这台被拿下webshell的机器访问内网的其他主机的端口服务呢? 拿下一个shell后,想要访问这个shell主机的其他内网机器的服务,可以用earthworm作为一个流量转发,把ew对应…