Java高并发之Redis批量提交数据库

article/2025/9/19 2:01:36

随着系统并发请求激增，参考电商秒杀、当下集中核酸采取等业务场景，如果突然大量数据请求业务系统。此时如果没有做任何缓存措施，直接保存数据库，即使你的数据库做了集群和分库分表，也会由于扛不住并发压力崩溃的。基于最简单的存储模型，就是用Redis做缓存，数据业务插入到Redis缓存中，然后缓存依据系统的处理能力依次批量插入数据库，就有效避免数据库崩溃的情况发生了。

基于最简单的存储模型，就是用Redis做缓存，数据业务插入到Redis缓存中，然后缓存依据系统的处理能力依次批量插入数据库，就有效避免数据库崩溃的情况发生了。

然后有人说：Redis就不会崩了吗？

当然，Redis也有它的并发上限，但是Redis是基于内存的，数据库是基于硬盘的，缓存要比数据库轻量得多！

简单模型大致如下：

在这里插入图片描述

核心功能是：每条数据都直接通过StringRedisTemplate下的leftPushAll方法插入缓存，然后再通过定时任务，调用rightPop方法取出指定数量的集合数据，批量持久化到数据库中。注意：插入的时候从左边插入，取的时候就要从右边取出，这样的话就跟队列一样，先进先出、依次按序保存了。

Springboot大致实现的demo如下，仅供参考

1. 建项目，导入redis、mysql的依赖，yml中做配置等

略（我用的Springboot+mybatis+mybatisPlus+mysql的项目）

2. 数据库中新建一张表用于测试，对应实体、mapper、service、controller新建

在这里插入图片描述

@Data
@NoArgsConstructor
@AllArgsConstructor
@Builder
public class TempLog {@TableIdprivate Long logId;private String logParam;private String logMsg;private String createTime;
}

3. controller中引入StringRedisTemplate

@Slf4j
@RestController
@RequestMapping("/temp")
public class TempLogController {@Autowiredprivate TempLogService tempLogService;@Autowiredprivate StringRedisTemplate redisTemplate;private static final String CACHE_KEY = "TEMP_LIST";}

4. 写一个方法，模拟数据插入，使用redis的opsForList()插入数据到缓存中

	/*** 模拟：插入数据，单条存入到缓存集合中（从左边插入）*/@GetMapping("/saveCache")public R saveCache(){TempLog tempLog = TempLog.builder().logParam(StringUtils.getUuid()).logMsg(StringUtils.getRandomStr(10)).createTime(new SimpleDateFormat("yyyy-MM-dd HH:mm:ss").format(new Date())).build();log.info("数据插入...........");redisTemplate.opsForList().leftPushAll(CACHE_KEY, JSON.toJSONString(tempLog));return R.ok();}

5. 开启一个定时任务，模拟定时把缓存中的集合数据插入到数据库中

	/*** 定时任务，把缓存中的集合数据插入到数据库中* 模拟：每3s执行一次，每次从缓存中取50条数据（从右边取出）*/@Scheduled(cron = "*/3 * * * * ?")public void saveDB(){//注意：redis6.2.0以上才支持rightPop(key, count)方法，redis6.2.0版本以下调用rightPop(key, count)方法会报错，//低版本只能使用rightPop(key)单条取//rightPop(key, count) 返回值是List//rightPop(key) 返回值是Stringlog.info("定时任务...........");List<String> list = redisTemplate.opsForList().rightPop(CACHE_KEY, 50);if (list != null && list.size() > 0) {List<TempLog> collect = list.stream().map(i -> {TempLog tempLog = JSON.parseObject(i, TempLog.class);return tempLog;}).collect(Collectors.toList());//批量插入数据库tempLogService.saveBatch(collect);}}