Queue是Python中线程和进程间通信的关键工具,queue.Queue用于线程间安全数据传递,multiprocessing.Queue支持跨进程通信,具备阻塞、序列化传输和任务同步特性,结合JoinableQueue等类型可有效管理并发任务流程。

在Python中,Queue 是实现线程间或进程间通信的重要工具。它提供了线程安全和进程安全的数据交换方式,常用于多线程编程或多进程编程中的数据传递。
Queue在多线程中通信
在同一个进程中,多个线程可以共享内存,使用 queue.Queue 可以安全地在线程之间传递数据,避免竞争条件。
特点:
在现实生活中的购物过程,购物者需要先到商场,找到指定的产品柜台下,查看产品实体以及标价信息,如果产品合适,就将该产品放到购物车中,到收款处付款结算。电子商务网站通过虚拟网页的形式在计算机上摸拟了整个过程,首先电子商务设计人员将产品信息分类显示在网页上,用户查看网页上的产品信息,当用户看到了中意的产品后,可以将该产品添加到购物车,最后使用网上支付工具进行结算,而货物将由公司通过快递等方式发送给购物者
- 线程安全:内部加锁机制保证同一时间只有一个线程操作队列
- 支持阻塞操作:put() 和 get() 可设置超时或阻塞等待
示例:
立即学习“Python免费学习笔记(深入)”;
from queue import Queueimport threading
def producer(q):
for i in range(3):
q.put(f"data-{i}")
print(f"Produced: data-{i}")
def consumer(q):
while True:
item = q.get()
if item is None:
break
print(f"Consumed: {item}")
q.task_done()
q = Queue()
t1 = threading.Thread(target=producer, args=(q,))
t2 = threading.Thread(target=consumer, args=(q,))
t1.start()
t2.start()
t1.join()
q.put(None) # 发送结束信号
t2.join()
Queue在多进程中通信
不同进程不共享内存,需使用专门的进程安全队列。Python 提供了 multiprocessing.Queue 来实现跨进程通信。
特点:
- 支持跨进程数据传递
- 可传输任意可序列化对象(通过pickle)
- 底层使用管道和锁机制确保安全
示例:
立即学习“Python免费学习笔记(深入)”;
from multiprocessing import Process, Queuedef worker(q):
q.put("Hello from child process")
if __name__ == "__main__":
q = Queue()
p = Process(target=worker, args=(q,))
p.start()
print(q.get()) # 主进程接收数据
p.join()
其他类型的Queue
除了基本队列,multiprocessing 还提供两种高级队列:
- Pipe:双向通信,性能更高但接口较简单
- JoinableQueue:支持 task_done() 和 join(),适合任务调度
例如使用 JoinableQueue 控制工作流程:
from multiprocessing import Process, JoinableQueuedef worker(q):
while True:
item = q.get()
if item is None:
break
print(f"Processing {item}")
q.task_done()
if __name__ == "__main__":
q = JoinableQueue()
pw = Process(target=worker, args=(q,))
pw.start()
for i in range(3):
q.put(i)
q.join() # 等待所有任务完成
q.put(None) # 结束信号
pw.join()
基本上就这些。根据场景选择合适的 Queue 类型,能有效解决线程或进程间的通信问题。注意在多进程环境下要避免共享普通变量,优先使用 Queue 传递数据。不复杂但容易忽略的是:记得在适当时候关闭或终止队列,防止程序挂起。










