python之多线程并发

article/2025/10/7 18:09:23

前言

今天呢笔者想和大家来聊聊python多线程的并发，废话就不多说了咱们直接进入主题哟。

 

一、线程执行

python的内置模块提供了两个内置模块：thread和threading，thread是源生模块，threading是扩展模块，在thread的基础上进行了封装及改进。所以只需要使用threading这个模块就能完成并发的测试

实例

创建并启动一个单线程

import threadingdef myTestFunc():print("我是一个函数")t = threading.Thread(target=myTestFunc)  # 创建一个线程
t.start()  # 启动线程

执行结果

C:\Python36\python.exe D:/MyThreading/myThread.py
我是一个线程函数Process finished with exit code 0

其实单线程的执行结果和单独执行某一个或者某一组函数结果是一样的，区别只在于用线程的方式执行函数，而线程是可以同时执行多个的，函数是不可以同时执行的。

二、多线程执行

上面介绍了单线程如何使用，多线程只需要通过循环创建多个线程，并循环启动线程执行就可以了

实例

import threading
from datetime import datetimedef thread_func():  # 线程函数print('我是一个线程函数', datetime.now())def many_thread():threads = []for _ in range(10):  # 循环创建10个线程t = threading.Thread(target=thread_func)threads.append(t)for t in threads:  # 循环启动10个线程t.start()if __name__ == '__main__':many_thread()

执行结果

C:\Python36\python.exe D:/MyThreading/manythread.py
我是一个线程函数 2022-06-23 16:54:58.205146
我是一个线程函数 2022-06-23 16:54:58.205146
我是一个线程函数 2022-06-23 16:54:58.206159
我是一个线程函数 2022-06-23 16:54:58.206159
我是一个线程函数 2022-06-23 16:54:58.206159
我是一个线程函数 2022-06-23 16:54:58.207139
我是一个线程函数 2022-06-23 16:54:58.207139
我是一个线程函数 2022-06-23 16:54:58.207139
我是一个线程函数 2022-06-23 16:54:58.208150
我是一个线程函数 2022-06-23 16:54:58.208150Process finished with exit code 0

通过循环创建10个线程，并且执行了10次线程函数，但需要注意的是python的并发并非绝对意义上的同时处理，因为启动线程是通过循环启动的，还是有先后顺序的，通过执行结果的时间可以看出还是有细微的差异，但可以忽略不记。当然如果线程过多就会扩大这种差异。我们启动500个线程看下程序执行时间

实例

import threading
from datetime import datetimedef thread_func():  # 线程函数print('我是一个线程函数', datetime.now())def many_thread():threads = []for _ in range(500):  # 循环创建500个线程t = threading.Thread(target=thread_func)threads.append(t)for t in threads:  # 循环启动500个线程t.start()if __name__ == '__main__':start = datetime.today().now()many_thread()duration = datetime.today().now() - startprint(duration)

执行结果

0:00:00.111657Process finished with exit code 0

500个线程共执行了大约0.11秒

那么针对这种问题我们该如何优化呢？我们可以创建25个线程，每个线程执行20次线程函数，这样在启动下一个线程的时候，上一个线程已经在循环执行了，这样就大大减少了并发的时间差异

优化

import threading
from datetime import datetimedef thread_func():  # 线程函数print('我是一个线程函数', datetime.now())def execute_func():for _ in range(20):thread_func()def many_thread():start = datetime.now()threads = []for _ in range(25):  # 循环创建500个线程t = threading.Thread(target=execute_func)threads.append(t)for t in threads:  # 循环启动500个线程t.start()duration = datetime.now() - startprint(duration)if __name__ == '__main__':many_thread()

输出结果(仅看程序执行间隔)

0:00:00.014959Process finished with exit code 0

后面的优化执行500次并发一共花了0.014秒。比未优化前的500个并发快了几倍，如果线程函数的执行时间比较长的话，那么这个差异会更加显著，所以大量的并发测试建议使用后者，后者比较接近同时“并发”

三、守护线程

多线程还有一个重要概念就是守护线程。那么在这之前我们需要知道主线程和子线程的区别，之前创建的线程其实都是main()线程的子线程，即先启动主线程main()，然后执行线程函数子线程。

那么什么是守护线程？即当主线程执行完毕之后，所有的子线程也被关闭(无论子线程是否执行完成)。默认不设置的情况下是没有守护线程的，主线程执行完毕后，会等待子线程全部执行完毕，才会关闭结束程序。

但是这样会有一个弊端，当子线程死循环了或者一直处于等待之中，则程序将不会被关闭，被被无限挂起，我们把上述的线程函数改成循环10次, 并睡眠2秒，这样效果会更明显

import threading
from datetime import datetime
import timedef thread_func():  # 线程函数time.sleep(2)i = 0while(i < 11):print(datetime.now())i += 1def many_thread():threads = []for _ in range(10):  # 循环创建500个线程t = threading.Thread(target=thread_func)threads.append(t)for t in threads:  # 循环启动500个线程t.start()if __name__ == '__main__':many_thread()print("thread end")

执行结果

C:\Python36\python.exe D:/MyThreading/manythread.py
thread end
2022-06-23 19:08:00.468612
2022-06-23 19:08:00.468612
2022-06-23 19:08:00.468612
2022-06-23 19:08:00.468612
2022-06-23 19:08:00.468612
2022-06-23 19:08:00.468612
2022-06-23 19:08:00.468612
2022-06-23 19:08:00.468612
2022-06-23 19:08:00.468612
2022-06-23 19:08:00.468612
2022-06-23 19:08:00.468612
2022-06-23 19:08:00.469559
2022-06-23 19:08:00.469559
2022-06-23 19:08:00.469559
2022-06-23 19:08:00.469559
2022-06-23 19:08:00.469559
2022-06-23 19:08:00.469559
2022-06-23 19:08:00.470556
2022-06-23 19:08:00.470556
2022-06-23 19:08:00.470556
2022-06-23 19:08:00.470556
2022-06-23 19:08:00.470556
2022-06-23 19:08:00.470556
2022-06-23 19:08:00.470556
2022-06-23 19:08:00.470556
2022-06-23 19:08:00.470556
2022-06-23 19:08:00.470556
2022-06-23 19:08:00.470556
2022-06-23 19:08:00.470556
2022-06-23 19:08:00.470556
2022-06-23 19:08:00.470556
2022-06-23 19:08:00.470556
2022-06-23 19:08:00.471554
2022-06-23 19:08:00.471554
2022-06-23 19:08:00.471554
2022-06-23 19:08:00.471554
2022-06-23 19:08:00.471554
2022-06-23 19:08:00.471554
2022-06-23 19:08:00.471554
2022-06-23 19:08:00.471554
2022-06-23 19:08:00.471554
2022-06-23 19:08:00.471554
2022-06-23 19:08:00.471554
2022-06-23 19:08:00.471554
2022-06-23 19:08:00.472557
2022-06-23 19:08:00.472557
2022-06-23 19:08:00.472557
2022-06-23 19:08:00.472557
2022-06-23 19:08:00.472557
2022-06-23 19:08:00.472557
2022-06-23 19:08:00.472557
2022-06-23 19:08:00.472557
2022-06-23 19:08:00.472557
2022-06-23 19:08:00.472557
2022-06-23 19:08:00.472557
2022-06-23 19:08:00.472557
2022-06-23 19:08:00.472557
2022-06-23 19:08:00.472557
2022-06-23 19:08:00.472557
2022-06-23 19:08:00.473548
2022-06-23 19:08:00.473548
2022-06-23 19:08:00.473548
2022-06-23 19:08:00.473548
2022-06-23 19:08:00.473548
2022-06-23 19:08:00.473548
2022-06-23 19:08:00.473548
2022-06-23 19:08:00.473548
2022-06-23 19:08:00.473548
2022-06-23 19:08:00.473548
2022-06-23 19:08:00.473548
2022-06-23 19:08:00.473548
2022-06-23 19:08:00.473548
2022-06-23 19:08:00.474545
2022-06-23 19:08:00.474545
2022-06-23 19:08:00.474545
2022-06-23 19:08:00.474545
2022-06-23 19:08:00.474545
2022-06-23 19:08:00.474545
2022-06-23 19:08:00.474545
2022-06-23 19:08:00.475552
2022-06-23 19:08:00.475552
2022-06-23 19:08:00.475552
2022-06-23 19:08:00.475552
2022-06-23 19:08:00.475552
2022-06-23 19:08:00.475552
2022-06-23 19:08:00.475552
2022-06-23 19:08:00.475552
2022-06-23 19:08:00.475552
2022-06-23 19:08:00.476548
2022-06-23 19:08:00.476548
2022-06-23 19:08:00.476548
2022-06-23 19:08:00.476548
2022-06-23 19:08:00.476548
2022-06-23 19:08:00.476548
2022-06-23 19:08:00.476548
2022-06-23 19:08:00.476548
2022-06-23 19:08:00.476548
2022-06-23 19:08:00.476548
2022-06-23 19:08:00.477546
2022-06-23 19:08:00.477546
2022-06-23 19:08:00.477546
2022-06-23 19:08:00.477546
2022-06-23 19:08:00.477546
2022-06-23 19:08:00.477546
2022-06-23 19:08:00.477546
2022-06-23 19:08:00.477546
2022-06-23 19:08:00.477546
2022-06-23 19:08:00.477546
2022-06-23 19:08:00.477546
2022-06-23 19:08:00.477546Process finished with exit code 0

根据上述结果可以看到主线程打印了“thread end”之后（主线程结束），子线程还在继续执行，并未随着主线程的结束而结束

下面我们通过 setDaemon方法给子线程添加守护线程，我们把循环改为死循环，再来看看输出结果(注意守护线程要加在start之前)

import threading
from datetime import datetime
def thread_func():  # 线程函数i = 0while(1):print(datetime.now())i += 1def many_thread():threads = []for _ in range(10):  # 循环创建500个线程t = threading.Thread(target=thread_func)threads.append(t)t.setDaemon(True)  # 给每个子线程添加守护线程for t in threads:  # 循环启动500个线程t.start()if __name__ == '__main__':many_thread()print("thread end")

输出结果

2022-06-23 19:12:35.564539
2022-06-23 19:12:35.564539
2022-06-23 19:12:35.564539
2022-06-23 19:12:35.564539
2022-06-23 19:12:35.564539
2022-06-23 19:12:35.564539
2022-06-23 19:12:35.565529
2022-06-23 19:12:35.565529
2022-06-23 19:12:35.565529
thread endProcess finished with exit code 0

通过结果我们可以发现，主线程关闭之后子线程也会随着关闭，并没有无限的循环下去，这就像程序执行到一半强制关闭执行一样，看似暴力却很有用，如果子线程发送一个请求未收到请求结果，那不可能永远等下去，这时候就需要强制关闭。所以守护线程解决了主线程和子线程关闭的问题。

四、阻塞线程

上面说了守护线程的作用，那么有没有别的方法来解决上述问题呢？ 其实是有的，那就是阻塞线程，这种方式更加合理，使用join()方法阻塞线程，让主线程等待子线程执行完成之后再往下执行，再关闭所有子线程，而不是只要主线程结束，不管子线程是否执行完成都终止子线程执行。下面我们给子线程添加上join()（主要join要加到start之后）

import threading
from datetime import datetime
import timedef thread_func():  # 线程函数time.sleep(1)i = 0while(i < 11):print(datetime.now())i += 1def many_thread():threads = []for _ in range(10):  # 循环创建500个线程t = threading.Thread(target=thread_func)threads.append(t)t.setDaemon(True)  # 给每个子线程添加守护线程for t in threads:  # 循环启动500个线程t.start()for t in threads:t.join()  # 阻塞线程if __name__ == '__main__':many_thread()print("thread end")

执行结果

程序会一直执行，但是不会打印“thread end”语句，因为子线程并未结束，那么主线程就会一直等待。

疑问：有人会觉得这和什么都不设置是一样的，其实会有一点区别的，从守护线程和线程阻塞的定义就可以看出来，如果什么都没设置，那么主线程会先执行完毕打印后面的“thread end”，而等待子线程执行完毕。两个都设置了，那么主线程会等待子线程执行结束再继续执行。

而对于死循环或者一直等待的情况，我们可以给join设置超时等待，我们设置join的参数为2，那么子线程会告诉主线程让其等待2秒，如果2秒内子线程执行结束主线程就继续往下执行，如果2秒内子线程未结束，主线程也会继续往下执行，执行完成后关闭子线程

import threading
from datetime import datetime
import timedef thread_func():  # 线程函数time.sleep(1)i = 0while(1):print(datetime.now())i += 1def many_thread():threads = []for _ in range(10):  # 循环创建500个线程t = threading.Thread(target=thread_func)threads.append(t)t.setDaemon(True)  # 给每个子线程添加守护线程for t in threads:  # 循环启动500个线程t.start()for t in threads:t.join(2)  # 设置子线程超时2秒if __name__ == '__main__':many_thread()print("thread end")

输出结果

你运行程序后会发现，运行了大概2秒的时候，程序会数据“thread end” 然后结束程序执行， 这就是阻塞线程的意义，控制子线程和主线程的执行顺序

总结

最好呢，再次说一下守护线程和阻塞线程的定义

守护线程：子线程会随着主线程的结束而结束，无论子线程是否执行完毕

阻塞线程：主线程会等待子线程的执行结束，才继续执行

最后今天的文章就到这里了哟,喜欢的小伙伴可以点赞收藏评论关注哟。

 


http://chatgpt.dhexx.cn/article/LOMFpcy8.shtml

相关文章

python多线程并发测试

python多线程并发测试

python多线程 文章目录 python多线程一、并发与并行&#xff1f;二、同步与异步的概念&#xff1f;三、线程与进程的区别&#xff1f;需求1&#xff1a;多线程执行不同任务&#xff1a;需求2&#xff1a;多线程执行相同任务&#xff1a;1.threading并发性2.多线程并发---资源共…
阅读更多...
JAVA多线程并发

JAVA多线程并发

JAVA并发知识库 JAVA线程实现/创建方式 1.继承Thread类 Thread类本质上时实现了Runnable接口的一个实例&#xff0c;代表一个现成的实例。启动线程的唯一方法就是通过Thread类的start()实例方法。start()方法是一个native方法&#xff0c;它将启动一个新线程&#xff0c;并执…
阅读更多...
多线程 与并发

多线程 与并发

官方文档 https://docs.oracle.com/javase/tutorial/essential/concurrency/index.html 推荐《Java高并发编程详解&#xff1a;多线程与架构设计》 推荐《Java高并发编程详解&#xff1a;深入理解并发核心库》 有很多工具的基准测试 同步和异步 所谓同步就是一个任务的完成需…
阅读更多...
多线程和并发问题详解

多线程和并发问题详解

文章目录 一、进程与线程二、并发与并行1、线程安全问题&#xff1a;2、共享内存不可见性问题 三、创建线程四、Thread类详解五、其他方法六、实例 一、进程与线程 进程&#xff1a;是代码在数据集合上的一次运行活动&#xff0c;是系统进行资源分配和调度的基本单位。 线程&…
阅读更多...
面试官：多线程问题你一问三不知，还要我怎么“放水”？

面试官：多线程问题你一问三不知，还要我怎么“放水”？

面试官：问你几个多线程相关的问题吧，说一下导致线程死锁的原因，怎么解除线程死锁？ 程序员阿里：这个...死锁... （一分钟后） 面试官：不知道？那好，说一下Lock 和 Synchronized 的区别？ 程序员阿里：Lock是锁... 面试官：...会就会，不会就说不会，节省一下时间，s…
阅读更多...
多线程（并发执行）

多线程（并发执行）

一、概念区分 1、并行与并发 并行 ​ 当系统有一个以上CPU时&#xff0c;同一时刻&#xff0c;当一个CPU在执行一个任务时&#xff0c;另一个CPU在执行另一个任务&#xff0c;两个任务互不抢占CPU资源&#xff0c;可以同时进行&#xff08;多核CPU&#xff0c;一个CPU执行一…
阅读更多...
2.多线程并发

2.多线程并发

1.说说你知道的创建线程的方式 1、继承Thread类&#xff0c;重写run方法。2、实现Runnable接口&#xff0c;重写run方法。3、实现Callable接口&#xff0c;重写call方法。4、通过线程池创建线程。 https://blog.csdn.net/u013541140/article/details/95225769 CachedThreadPoo…
阅读更多...
C++多线程并发（一）--- 线程创建与管理

C++多线程并发（一）--- 线程创建与管理

文章目录 前言一、何为并发1.1 并发与并行1.2 硬件并发与任务切换1.3 多线程并发与多进程并发 二、如何使用并发2.1 为什么使用并发2.2 在C中使用并发和多线程 三、C线程创建3.1 C11新标准多线程支持库3.2 线程创建的简单示例 更多文章&#xff1a; 前言 我们都听说过摩尔定律…
阅读更多...
lrzsz

lrzsz

lrzsz是一款程序&#xff0c;在linux中可以代替ftp的上传和下载 安装lrzsz yum install -y lrzsz上传&#xff1a;rz 将文件上传到本地&#xff0c;默认上传到当前目录 该程序支持拖拽上传&#xff0c;如下图所示 上传成功后查看本地 下载&#xff1a;sz filename 例如&am…
阅读更多...
linux之lrzsz

linux之lrzsz

1、lrzsz介绍 我们利用lrzsz进行windows和linux间的文件上传下载 2、安装 在ubuntu系统下 sudo apt-get install lrzsz 在centos系统下 yum install lrzsz 3、使用 1）、windows上传文件到linux环境,使用如下命令 rz
阅读更多...
文件传输工具rzsz

文件传输工具rzsz

mac安装rz sz? 之前在item2上使用使用rz和sz时就直接夯住 发现是需要配置下 mac使用rz&#xff0c;sz进行文件传输(默认使用的终端为iterm2) 一、安装lrzsz brew install lrzsz 二、下载iterm2-zmodem 执行 git clone https://github.com/aikuyun/iterm2-zmodem.git cd …
阅读更多...
【lrzsz】Linux上lrzsz的安装和使用

【lrzsz】Linux上lrzsz的安装和使用

一、lrzsz简介 rz&#xff0c;sz是Linux/Unix同Windows进行ZModem文件传输的命令行工具。 rz 可以很方便的从客户端传文件到服务器&#xff0c;sz也可以很方便的从服务器传文件到客户端&#xff0c;就算中间隔着跳板机也不影响。 rz(receive Zmodem) sz(send Zmodem) 远程文…
阅读更多...
Linux lrzsz 详解

Linux lrzsz 详解

和 FileZilla 功能类似用于上传文件&#xff0c;上传速度比较慢适用于比较小的文件 安装指令 $ sudo yum install lrzsz 使用方式 $ rz 注&#xff1a;1> rz 指令在那个目录就在在那个目录上传文件 2> 文件要上的目录一定要有权限&#xff0c;否则上传失败
阅读更多...
linux rz命令安装

linux rz命令安装

新搞的云服务器用SecureCRT不支持上传和下载&#xff0c;没有找到rz命令。记录一下如何安装rz/sz命令的方法。 一、工具说明 在SecureCRT这样的ssh登录软件里, 通过在Linux界面里输入rz/sz命令来上传/下载文件. 对于某些linux版本, rz/sz默认没有安装所以需要手工安装。 sz: 将…
阅读更多...
rz sz

rz sz

linux上很方便的上传下载文件工具rz和sz (本文适合linux入门的朋友) ######################################################### #《老男孩linux就业培训中心-初级班第七期第一节内容总结。 #linux上很方便的上传下载文件工具rz和sz #date:2011-06-15 #作者&#xff1a;老男…
阅读更多...
Linux的rz命令

Linux的rz命令

linux服务器rz命令上传文件 2016年09月10日 19:56:02 阅读数&#xff1a;11712 1、首先&#xff0c;要是服务器不支持rz命令的话&#xff0c;需要安装执行 yum -y install lrzsz 2、再输入rz -be命令&#xff0c;选择需要上传的本地文件
阅读更多...
llrzsz

llrzsz

文章目录 官网解压配置编译安装复制到开发板并执行使用lrz从PC传开发板使用lsz从开发板传PC参考链接 今天给大家推荐一个很好用的工具。 你是不是感觉在没有网络时往linux中下载程序很麻烦&#xff08;SD卡插拔&#xff09;&#xff0c;今天就教大家怎么通过串口和linux文件系统…
阅读更多...
linux系统下的rz、sz详解

linux系统下的rz、sz详解

对于linux服务器来说&#xff0c;通常我们是通过一些ssh工具进行远程访问连接的&#xff0c;而对于经常使用它的人来说&#xff0c;少不了将文件上传下载到服务器。如何能够快速的同服务器进行文件的交互尤为重要。不然每次都打开单独的ssh客户端或者ftp很是浪费时间。今天&…
阅读更多...
linux rzsz(lrzsz)安装

linux rzsz(lrzsz)安装

lrzsz 官网入口&#xff1a;https://ohse.de/uwe/software/lrzsz.html lrzsz是一个unix通信套件提供的X&#xff0c;Y&#xff0c;和ZModem文件传输协议,可以用在windows与linux 系统之间的文件传输&#xff0c;体积小速度快。感觉可以替代ftp了 lrzsz 在线安装&#xff1a; …
阅读更多...
【Linux】第三章Linux环境基础开发工具使用(yum+rzsz+vim+g++和gcc+gdb+make和Makefile+进度条+git)

【Linux】第三章Linux环境基础开发工具使用(yum+rzsz+vim+g++和gcc+gdb+make和Makefile+进度条+git)

&#x1f3c6;个人主页&#xff1a;企鹅不叫的博客 ​ &#x1f308;专栏 C语言初阶和进阶C项目Leetcode刷题初阶数据结构与算法C初阶和进阶《深入理解计算机操作系统》《高质量C/C编程》Linux ⭐️ 博主码云gitee链接&#xff1a;代码仓库地址 ⚡若有帮助可以【关注点赞收藏】…
阅读更多...
推荐文章

Copyright @ 2022~2023