Python多线程适用于I/O密集型任务,需用Lock保护共享资源、Queue实现生产者-消费者模式;CPU密集型应选multiprocessing,高并发网络IO宜用asyncio。

Python多线程本身受GIL限制,CPU密集型任务无法真正并行,但对I/O密集型场景(如网络请求、文件读写、数据库查询)仍能显著提升响应效率。关键在于避免竞态条件——用锁保护共享资源,用队列协调线程协作。下面从实战角度讲清怎么用 threading.Lock 和 queue.Queue 搭建稳定、可扩展的多线程处理流程。
用 Lock 保护共享变量,防止数据错乱
多个线程同时修改同一变量(比如计数器、列表、字典)极易出错。Lock 是最基础也最常用的同步原语,确保同一时刻只有一个线程能执行临界区代码。
常见错误写法:
red">count += 1 # 非原子操作:读取→计算→写入,三步可能被其他线程打断正确做法:
立即学习“Python免费学习笔记(深入)”;
- 创建一个
threading.Lock()实例(全局或类内) - 用
with lock:包裹需要保护的代码块(自动加锁/释放,推荐) - 避免在锁内做耗时操作(如 sleep、requests.get),否则拖慢整体并发度
用 Queue 做生产者-消费者解耦,天然线程安全
queue.Queue 不仅是容器,更是为多线程设计的线程安全通信通道。它内部已集成锁机制,put() 和 get() 都是原子操作,无需额外加锁。
典型结构:
- 主线程作为“生产者”,把待处理任务(URL、ID、参数字典等)放入队列
- 启动多个工作线程作为“消费者”,持续
queue.get()取任务并执行 - 用
queue.task_done()标记完成,主线程调用queue.join()等待全部任务结束
示例场景:批量爬取100个网页,开5个线程并发请求,结果统一存入列表——队列负责分发,Lock 保护结果列表写入。
组合使用 Lock + Queue,构建完整任务流
实际项目中,常需既分发任务(Queue),又汇总结果或更新状态(Lock)。二者配合,各司其职:
- Queue 负责任务分发与线程间通信(无锁安全)
- Lock 仅用于极小范围的状态更新(如记录成功数、写日志、append 到共享结果列表)
- 避免把整个处理逻辑塞进 with lock 块里——只锁真正需要同步的那1–2行
提示:若需返回每个任务的结果,可用 queue.Queue 创建“结果队列”,每个工作线程处理完后 result_queue.put((task_id, result)),主线程单独监听该队列收集。
注意边界:何时不该用多线程?
不是所有并发都适合 threading。以下情况建议换方案:
- CPU密集型计算(如图像处理、数值运算)→ 改用
multiprocessing绕过GIL - 高并发网络IO(上万连接)→ 用
asyncio+aiohttp更轻量高效 - 需要强一致性事务或复杂锁逻辑 → 考虑用 Celery + Redis/RabbitMQ 做分布式任务队列
多线程最适合的是“少量线程 + 中低频 I/O + 简单共享状态”的场景,比如日志采集、API批量调用、本地文件批量转换。










