3、redis 单线程 vs 多线程

article/2025/9/29 19:05:46

1、Redis为什么选择单线程?

是什么

这种问法其实并不严谨,为啥这么说呢?

Redis的版本很多3.x、4.x、6.x,版本不同架构也是不同的,不限定版本问是否单线程也不太严谨。

①版本3.x ,最早版本,也就是大家口口相传的redis是单线程。

②版本4.x,严格意义来说也不是单线程,而是负责处理客户端请求的线程是单线程,但是开始加了点多线程的东西(异步删除)。---貌似

③ 最新版本的6.0.x后,告别了大家印象中的单线程,用一种全新的多线程来解决问题。---实锤

有几个里程碑式的重要版本

5.0版本是直接升级到6.0版本,对于这个激进的升级,Redis之父antirez表现得很有信心和兴奋,所以第一时间发文来阐述6.0的一些重大功能"Redis 6.0.0 GA is out!":

redis之父的发言

http://antirez.com/news/132

Redis是单线程

主要是指Redis的网络IO和键值对读写是由一个线程来完成的,Redis在处理客户端的请求时包括获取 (socket 读)、解析、执行、内容返回 (socket 写) 等都由一个顺序串行的主线程处理,这就是所谓的“单线程”。

这也是Redis对外提供键值存储服务的主要流程。

但Redis的其他功能,比如持久化、异步删除、集群数据同步等等,其实是由额外的线程执行的。Redis工作线程是单线程的,但是,整个Redis来说,是多线程的;

为什么?

请说说演进变化情况?

Redis3.x单线程时代但性能依旧很快的主要原因

基于内存操作:Redis 的所有数据都存在内存中,因此所有的运算都是内存级别的,所以他的性能比较高;

数据结构简单:Redis 的数据结构是专门设计的,而这些简单的数据结构的查找和操作的时间大部分复杂度都是 O(1),因此性能比较高;

多路复用和非阻塞 I/O:Redis使用 I/O多路复用功能来监听多个 socket连接客户端,这样就可以使用一个线程连接来处理多个请求,减少线程切换带来的开销,同时也避免了 I/O 阻塞操作

避免上下文切换:因为是单线程模型,因此就避免了不必要的上下文切换和多线程竞争,这就省去了多线程切换带来的时间和性能上的消耗,而且单线程不会导致死锁问题的发生

作者原话 Redis FAQ | Redis

他的大体意思是说 Redis 是基于内存操作的,因此他的瓶颈可能是机器的内存或者网络带宽而并非 CPU,既然 CPU 不是瓶颈,那么自然就采用单线程的解决方案了,况且使用多线程比较麻烦。但是在 Redis 4.0 中开始支持多线程了,例如后台删除等功能。

Redis 4.0之前一直采用单线程的主要原因有以下三个

简单来说,Redis 4.0 之前一直采用单线程的主要原因有以下三个:

  1. 使用单线程模型是 Redis 的开发和维护更简单,因为单线程模型方便开发和调试;
  2. 即使使用单线程模型也并发的处理多客户端的请求,主要使用的是多路复用和非阻塞 IO;
  3. 对于 Redis 系统来说,主要的性能瓶颈是内存或者网络带宽而并非 CPU。

既然单线程这么好,为什么逐渐又加入了多线程特性?

单线程也有单线程的苦恼 举个栗子

正常情况下使用 del 指令可以很快的删除数据,而当被删除的 key 是一个非常大的对象时,例如时包含了成千上万个元素的 hash 集合时,那么 del 指令就会造成 Redis 主线程卡顿。 这就是redis3.x单线程时代最经典的故障,大key删除的头疼问题,由于redis是单线程的,del bigKey .....等待很久这个线程才会释放,类似加了一个synchronized锁,你可以想象高并发下,程序堵成什么样子?

如何解决

使用惰性删除可以有效的避免 Redis 卡顿的问题

案例

比如当我(Redis)需要删除一个很大的数据时,因为是单线程同步操作,这就会导致 Redis 服务卡顿,

于是在 Redis 4.0 中就新增了多线程的模块,当然此版本中的多线程主要是为了解决删除数据效率比较低的问题的。

unlink key
flushdb async
flushall async
把删除工作交给了后台的小弟(子线程)异步来删除数据了。

因为Redis是单个主线程处理,redis之父antirez一直强调"Lazy Redis is better Redis".

而lazy free的本质就是把某些cost(主要时间复制度,占用主线程cpu时间片)较高删除操作,

从redis主线程剥离让bio子线程来处理,极大地减少主线阻塞时间。从而减少删除导致性能和稳定性问题。

redis6的多线程和IO多路复用入门篇

对于Redis主要的性能瓶颈是内存或者网络带宽而并非 CPU。

最后Redis的瓶颈可以初步定为:网络IO——redis6,真正多线程登场

Unix网络编程中的五种IO模型

①Blocking IO - 阻塞IO

②NoneBlocking IO - 非阻塞IO

③IO multiplexing - IO多路复用

这是IO模型的一种,即经典的Reactor设计模式,I/O 多路复用,简单来说就是通过监测文件的读写事件再通知线程执行相关操作,保证 Redis 的非阻塞 I/O 能够顺利执行完成的机制。多路指的是多个socket连接,复用指的是复用一个线程。多路复用主要有三种技术:select,poll,epoll。 epoll是最新的也是目前最好的多路复用技术。采用多路 I/O 复用技术可以让单个线程高效的处理多个连接请求(尽量减少网络IO的时间消耗),且Redis在内存中操作数据的速度非常快(内存内的操作不会成为这里的性能瓶颈),主要以上两点造就了Redis具有很高的吞吐量。

④signal driven IO - 信号驱动IO

⑤asynchronous IO - 异步IO

简单说明

Redis工作线程是单线程的,

但是,

整个Redis来说,是多线程的;

I/O 的读和写本身是堵塞的,比如当 socket 中有数据时,Redis 会通过调用先将数据从内核态空间拷贝到用户态空间,再交给 Redis 调用,而这个拷贝的过程就是阻塞的,当数据量越大时拷贝所需要的时间就越多,而这些操作都是基于单线程完成的。 

在 Redis 6.0 中新增了多线程的功能来提高 I/O 的读写性能,他的主要实现思路是将主线程的 IO 读写任务拆分给一组独立的线程去执行,这样就可以使多个 socket 的读写可以并行化了,采用多路 I/O 复用技术可以让单个线程高效的处理多个连接请求(尽量减少网络IO的时间消耗),将最耗时的Socket的读取、请求解析、写入单独外包出去,剩下的命令执行仍然由主线程串行执行并和内存的数据交互。 

结合上图可知,网络IO操作就变成多线程化了,其他核心部分仍然是线程安全的,是个不错的折中办法。  

结论:

Redis 6.0 将网络数据读写、请求协议解析通过多个IO线程的来处理 ,对于真正的命令执行来说,仍然使用主线程操作,一举两得,便宜占尽!!! o( ̄▽ ̄)d 

Redis6.0默认是否开启了多线程?

Redis将所有数据放在内存中,内存的响应时长大约为100纳秒,对于小数据包,Redis服务器可以处理8W到10W的QPS,这也是Redis处理的极限了,对于80%的公司来说,单线程的Redis已经足够使用了。

 在Redis6.0中,多线程机制默认是关闭的,如果需要使用多线程功能,需要在redis.conf中完成两个设置 

1.设置io-thread-do-reads配置项为yes,表示启动多线程。

2。设置线程个数。关于线程数的设置,官方的建议是如果为 4 核的 CPU,建议线程数设置为 2 或 3,如果为 8 核 CPU 建议线程数设置为 6,线程数一定要小于机器核数,线程数并不是越大越好。

Redis自身出道就是优秀,基于内存操作、数据结构简单、多路复用和非阻塞 I/O、避免了不必要的线程上下文切换等特性,在单线程的环境下依然很快;

但对于大数据的 key 删除还是卡顿厉害,因此在 Redis 4.0 引入了多线程unlink key/flushall async 等命令,主要用于 Redis 数据的异步删除;

而在 Redis 6.0 中引入了 I/O 多线程的读写,这样就可以更加高效的处理更多的任务了,Redis 只是将 I/O 读写变成了多线程,而命令的执行依旧是由主线程串行执行的,因此在多线程下操作 Redis 不会出现线程安全的问题。 

Redis 无论是当初的单线程设计,还是如今与当初设计相背的多线程,目的只有一个:让 Redis 变得越来越快。 

所以 Redis 依旧没变,他还是那个曾经的少年,O(∩_∩)O哈哈~


http://chatgpt.dhexx.cn/article/rwxhIVmm.shtml

相关文章

Redis单线程原理

Redis单线程原理 Redis是单进程单线程的,Redis利用队列技术将并发访问变为串行访问,消除了传统数据库串行控制的开销。 单线程指的是网络请求模块使用了一个线程(所以不需考虑并发安全性),即一个线程处理所有网络请求…

【Redis】Redis单线程和多线程

Redis单线程 Redis为什么是单线程 Redis的版本很多,比如3.x、4.x、6.x等,版本不同,架构不同: 3.x版本,最早的版本,单线程4.x版本,严格意义上来说不是单线程,负责处理客户端请求的…

redis单线程模型阻塞问题浅析

redis知识速览 解决问题很好的一个方式就是先建立起“系统观”。这也就是说,如果我们想要深入理解和优化 Redis,就必须要对它的总体架构和关键模块有一个全局的认知,然后再深入到具体的技术点。 redis6.0之后就是多线程版本的了。 好久没写了…

Redis 单线程为什么速度这么快

总结了四点原因 1、基于内存,操作速度更快,每条命令的执行时间很短。 2、执行命令采用的是单线程操作,省去了线程切换的时空消耗。 3、采用了I/O多路复用,利用了epoll,提升了redis的I/O利用效率。 4、优秀的底层数…

redis单线程模式

1、redis单线程指的是:Redis 的网络 IO 和键值对读写是由一个线程来完成的,这也是 Redis 对外提供键值存储服务的主要流程。但 Redis 的其他功能,比如持久化、异步删除、集群数据同步等,其实是由额外的线程执行的。 **2、多线程开…

redis单线程

redis多线程6.0 redis单线程为什么快 单线程vs多线程 redis单线程指的是收到的读写命令是放到队列里,一条条执行的; redis用的io多路复用技术,所以可以一次性接收多个客户端请求,然后放到队列中; 先跟服务端建立连接…

Redis单线程和多线程

Redis单线程 Reids是单线程! Reids是单线程! Reids是单线程! Redis架构模型:Redis 基于 Reactor 模式来设计开发了自己的一套高效的事件处理模型 ,即文件事件处理器 文件事件处理器(file event handler) 主要是包含 4 个部分&…

Redis单线程模型详解

这里写目录标题 Redis 单线程模型简介文件事件常用的文件事件处理器客户端与Redis通信的一次流程 Redis为什么采用单线程模型Redis 为什么要引入多线程呢?为什么Redis单线程模型也能效率这么高? Redis 单线程模型简介 Redis 内部使用文件事件处理器 fil…

一文搞懂,redis单线程执行全貌(深入拆解分析)

文章目录 前言一、基础知识1.Reactor 单线程模型:2.文件描述符:3.套接字:4.服务端连接建立: 二、大话单线程模型1.建立连接:2.IO轮训及就绪事件处理3.命令处理及响应 三、总结 前言 本文参考源码版本为 redis6.2 redis…

高并发架构系列:Redis为什么是单线程、及高并发快的3大原因详解

Redis的高并发和快速原因 1.redis是基于内存的,内存的读写速度非常快; 2.redis是单线程的,省去了很多上下文切换线程的时间; 3.redis使用多路复用技术,可以处理并发的连接。非阻塞IO 内部实现采用epoll,采…

Redis —单线程

单线程概念 Redis是单线程的原因: Redis 单线程指的是「接收客户端请求->解析请求 ->进行数据读写等操作->发送数据给客户端」这个过程是由一个线程(主线程)来完成的 但是,Redis 程序并不是单线程的,Redis…

redis是单线程还是多线程?

1、Redis单线程 在一开始的时候,Redis采用的是单线程模型,因为Redis是一个基于内存的数据库,将所有的数据放入内存,所以使用单线程的操作效率是最高的,多线程会上下文切换消耗大量时间,对于内存系统来说&a…

redis单线程理解

redis 单线程的理解 单线程模型 Redis客户端对服务端的每次调用都经历了发送命令,执行命令,返回结果三个过程。其中执行命令阶段,由于Redis是单线程来处理命令的,所有每一条到达服务端的命令不会立刻执行,所有的命令都…

MooseFS

MFS简介 MooseFS是一个具有容错性的网络分布式文件系统,它将数据分别存放在多个物理服务器或单独磁盘或分区上,确保一份数据有多个备份副本;对于访问的客户端或者用户来说,整个分布式网络文件系统集群看起来就像一个资源一样 官…

mosh ES

Operator arithmetic operators: baiscly like python but include and -- like the ones in c. "" shortcut like this is also applicable. comparision operator: >,>,..... use as strict equality operator.会同时比较类型和值 ”“只比较值&#x…

MOSS安装

1、conda安装 a、安装虚环境 conda create -n moss python3.7 b、激活base环境base source ./bin/activate c、激活自己环境 conda activate moss conda deactivate # 退出环境,进入base环境 2、jittor安装 a、去官网查看安装cuda,cento步骤如下…

(最通俗易懂的)目标跟踪MOSSE、KCF

引言 我们在研究目标跟踪前先要了解它分为哪几类,以及大体思路是什么? 分类:①目标建模;②前景背景识别。 思路:①目标建模的思路是首先我们用一些手段把我们想要跟踪的目标“框出来”。例如:我们要跟踪视…

相关滤波之开篇Mosse原理及代码详解

相关滤波之开篇Mosse原理及代码详解 相关滤波(Correlation Filter )介绍代码解读程序框图 本文主要介绍相关滤波算法开篇——mosse具体原理及其python代码实现流程 相关滤波(Correlation Filter )介绍 相关滤波(CF&a…

目标跟踪 MOSSE(Visual Object Tracking using Adaptive Correlation Filters)

文章标题:《Visual Object Tracking using Adaptive Correlation Filters》 文章地址:http://citeseerx.ist.psu.edu/viewdoc/download?doi10.1.1.294.4992&reprep1&typepdf 文章代码:(python)https://github…

MOSSE相关滤波跟踪算法

参考博客: MOSSE算法的理解 MOSSE MOSSE代码 0 基础知识: 接上一篇 单目标跟踪综述,本文主要从MOSSE算法开始追溯相关滤波算法的起源(ps.这里让我想到了刺客信条里的起源)。 1. 先理解 相关操作和卷积操作&#x…