0

0

如何让 tqdm 在多线程环境中安全更新同一进度条

冷炫風刃

冷炫風刃

发布时间:2026-01-25 20:14:02

|

582人浏览过

|

来源于php中文网

原创

tqdm多线程共享进度条会crash或错乱,因其非线程安全:并发调用update()导致计数器、光标、缓冲区竞争;需共用实例并加锁更新,或改用tqdm.contrib.concurrent.thread_map()。

如何让 tqdm 在多线程环境中安全更新同一进度条

tqdm 多线程共享进度条为什么直接 crash 或显示错乱

因为 tqdm 默认实例不是线程安全的:多个线程同时调用 update() 会竞争修改内部计数器、刷新缓冲区和终端光标位置,轻则进度跳变、重叠打印,重则抛出 ValueError: I/O operation on closed file 或直接卡死。根本原因在于 tqdmdisplay() 和底层 sys.stdout.write() 调用没有加锁,且状态(如 nlast_print_n)被并发读写。

用 thread-safe tqdm 实例 + 手动锁控制更新

最直接可控的方式是:所有线程共用一个 tqdm 对象,但每次调用 update() 前加线程锁。注意不能在 with tqdm(...) as pbar: 语法块内创建锁——锁必须在 pbar 生命周期内持续有效。

  • 创建 threading.Lock() 实例,在主线程初始化 tqdm 前就准备好
  • 每个工作线程中,用 lock.acquire()pbar.update(1)lock.release() 包裹更新逻辑(推荐用 with lock: 自动管理)
  • 避免在 tqdm 实例上频繁调用 set_description() —— 它也非线程安全;如需动态描述,改用 pbar.set_postfix_str(..., refresh=False) 再手动 pbar.refresh()(加锁后)
  • 关闭自动刷新(leave=True, smoothing=0, miniters=1, mininterval=0)可减少竞态窗口,但不能替代锁
import threading
from tqdm import tqdm

pbar = tqdm(total=100, desc="Processing") lock = threading.Lock()

def worker(i):

... do work ...

with lock:
    pbar.update(1)

threads = [threading.Thread(target=worker, args=(i,)) for i in range(100)] for t in threads: t.start() for t in threads: t.join()

pbar.close()

用 tqdm.contrib.concurrent 替代原生线程池

如果你实际是在用 concurrent.futures.ThreadPoolExecutor 并想“自动”集成进度条,tqdm.contrib.concurrent 提供了封装好的线程/进程安全版本,底层已内置锁和队列同步机制

RMI远程方法调用 word版
RMI远程方法调用 word版

Raza Microelectronics, Inc.(RMI公司)是勇于创新的信息基础架构半导体解决方案领导厂商,其产品广泛地被应用于改善不断演进的信息基础设施。在这个演进过程中,数据中心和家庭之间的连接在强度和速率方面都逐渐升级;安全和智能化已经成为每一个网络系统环境的要求;同时,边缘网络日益成为瓶颈,促使业界需要更具扩展能力及成本优势的智能网络接入方法。RMI公司为信息基础架构设计并提供多样化的解决方案,为下一代灵活的企业和数据中心应用、智能接入和数字影像系统奠定基础。 RMI远程方法调用目录 一、

下载
  • thread_map() 是最常用接口:它把可迭代对象分发到线程池,自动维护单个进度条
  • 不支持自定义线程数时动态调整 total;若任务总数未知,需先传入 total=len(items) 或设为 None(此时禁用 ETA 和百分比)
  • 返回结果顺序与输入一致,但进度条更新时机由内部队列消费决定,非严格按线程完成顺序
  • 不要混用 thread_map() 和手动 tqdm 实例——它们互不感知,会导致双进度条或冲突
from tqdm.contrib.concurrent import thread_map

def process_item(x):

... some I/O-bound work ...

return x ** 2

results = thread_map(process_item, range(100), desc="Squaring", total=100)

为什么不用 multiprocessing.Pool + tqdm?

多进程环境下不能直接共享 tqdm 实例(内存隔离),而 progress_bar = tqdm(...) 在子进程中只是副本,更新无效。常见错误是让每个进程都创建自己的 tqdm,结果打出 8 行进度条刷屏。

  • 正确做法是:用 concurrent.futures.ProcessPoolExecutor + tqdm.contrib.concurrent.process_map()(同理线程版)
  • 或使用 logging + 主进程轮询队列方式手动同步进度,但复杂度陡增
  • 注意 Windows 下 spawn 启动方式可能导致 tqdm 初始化失败,建议显式设置 if __name__ == '__main__': 保护

真正麻烦的从来不是加锁本身,而是忘记锁住 refresh()set_postfix() 这类看似“只读”的操作——它们内部都会修改终端状态。只要涉及输出、计数、时间戳更新,就得进同一把锁。

相关专题

更多
if什么意思
if什么意思

if的意思是“如果”的条件。它是一个用于引导条件语句的关键词,用于根据特定条件的真假情况来执行不同的代码块。本专题提供if什么意思的相关文章,供大家免费阅读。

769

2023.08.22

硬盘接口类型介绍
硬盘接口类型介绍

硬盘接口类型有IDE、SATA、SCSI、Fibre Channel、USB、eSATA、mSATA、PCIe等等。详细介绍:1、IDE接口是一种并行接口,主要用于连接硬盘和光驱等设备,它主要有两种类型:ATA和ATAPI,IDE接口已经逐渐被SATA接口;2、SATA接口是一种串行接口,相较于IDE接口,它具有更高的传输速度、更低的功耗和更小的体积;3、SCSI接口等等。

1072

2023.10.19

PHP接口编写教程
PHP接口编写教程

本专题整合了PHP接口编写教程,阅读专题下面的文章了解更多详细内容。

127

2025.10.17

php8.4实现接口限流的教程
php8.4实现接口限流的教程

PHP8.4本身不内置限流功能,需借助Redis(令牌桶)或Swoole(漏桶)实现;文件锁因I/O瓶颈、无跨机共享、秒级精度等缺陷不适用高并发场景。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

951

2025.12.29

java接口相关教程
java接口相关教程

本专题整合了java接口相关内容,阅读专题下面的文章了解更多详细内容。

13

2026.01.19

线程和进程的区别
线程和进程的区别

线程和进程的区别:线程是进程的一部分,用于实现并发和并行操作,而线程共享进程的资源,通信更方便快捷,切换开销较小。本专题为大家提供线程和进程区别相关的各种文章、以及下载和课程。

482

2023.08.10

Python 多线程与异步编程实战
Python 多线程与异步编程实战

本专题系统讲解 Python 多线程与异步编程的核心概念与实战技巧,包括 threading 模块基础、线程同步机制、GIL 原理、asyncio 异步任务管理、协程与事件循环、任务调度与异常处理。通过实战示例,帮助学习者掌握 如何构建高性能、多任务并发的 Python 应用。

143

2025.12.24

java多线程相关教程合集
java多线程相关教程合集

本专题整合了java多线程相关教程,阅读专题下面的文章了解更多详细内容。

5

2026.01.21

c++ 根号
c++ 根号

本专题整合了c++根号相关教程,阅读专题下面的文章了解更多详细内容。

45

2026.01.23

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
PostgreSQL 教程
PostgreSQL 教程

共48课时 | 7.8万人学习

Excel 教程
Excel 教程

共162课时 | 13.4万人学习

PHP基础入门课程
PHP基础入门课程

共33课时 | 2万人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号