Python中的多进程如何实现多进程与多线程有什么区别-Python教程-PHP中文网

Python中的多进程如何实现多进程与多线程有什么区别

尼克

发布： 2025-06-25 13:58:02

原创

116人浏览过

python中实现多进程主要依赖multiprocessing模块，该模块提供process类、pool类等来创建和管理进程。1.使用process类可创建独立进程，通过target参数指定执行函数；2.使用pool类可创建进程池，自动分配任务并控制并发数量；3.进程间通信可通过queue、pipe、value、array等机制实现；4.选择进程数量应根据cpu核心数合理设定，避免系统开销过大；5.多进程适用于cpu密集型任务和需要资源隔离的场景，而多线程更适合io密集型任务；6.调试多进程程序时建议使用日志记录或pdb调试器，同时注意处理僵尸进程问题。所有进程完成后主程序会输出“所有进程完成”信息。

Python中的多进程如何实现多进程与多线程有什么区别

Python中实现多进程，主要依赖multiprocessing模块。它允许你创建和管理多个独立的Python解释器进程，从而真正实现并行执行，特别是在CPU密集型任务中能显著提升性能。多进程和多线程的主要区别在于资源隔离和并发模型。多进程拥有独立的内存空间，而多线程共享同一进程的内存空间。

multiprocessing模块提供了Process类、Pool类等多种方式来创建和管理进程。

解决方案

立即学习“Python免费学习笔记（深入）”；

使用Process类创建进程：

这是最基本的创建进程的方式。你需要创建一个继承自Process的类，并重写run方法，或者直接使用Process类，并传入一个可调用对象作为target参数。

import multiprocessing
import time

def worker(num):
    """工作进程函数"""
    print(f"进程 {num} 启动")
    time.sleep(2)  # 模拟耗时操作
    print(f"进程 {num} 结束")

if __name__ == '__main__':
    processes = []
    for i in range(3):
        p = multiprocessing.Process(target=worker, args=(i,))
        processes.append(p)
        p.start()

    for p in processes:
        p.join()  # 等待所有进程结束

    print("所有进程完成")

登录后复制

这段代码创建了3个独立的进程，每个进程执行worker函数。p.join()确保主进程等待所有子进程完成后再退出。

使用Pool类创建进程池：

进程池可以更方便地管理大量进程，并控制并发数量。Pool类会自动分配任务给空闲进程。

import multiprocessing
import time

def worker(num):
    """工作进程函数"""
    print(f"进程 {num} 启动")
    time.sleep(2)  # 模拟耗时操作
    print(f"进程 {num} 结束")
    return num * num

if __name__ == '__main__':
    with multiprocessing.Pool(processes=4) as pool:  # 创建一个包含4个进程的进程池
        results = pool.map(worker, range(5))  # 将worker函数应用于range(5)中的每个元素
        # pool.close() # 关闭进程池，不再接受新的任务
        # pool.join()  # 等待所有进程完成

    print("所有进程完成")
    print("结果:", results) # 输出每个任务的结果

登录后复制

这里创建了一个包含4个进程的进程池，pool.map将worker函数应用于range(5)的每个元素，并将结果收集到results列表中。使用with语句可以自动管理进程池的生命周期，避免资源泄漏。

进程间通信：

由于多进程拥有独立的内存空间，进程间通信需要使用特定的机制，例如Queue、Pipe、Value、Array等。

import multiprocessing

def sender(queue):
    """发送数据到队列"""
    print("发送进程启动")
    queue.put("Hello from process!")
    print("发送进程结束")

def receiver(queue):
    """从队列接收数据"""
    print("接收进程启动")
    message = queue.get()
    print(f"接收到消息: {message}")
    print("接收进程结束")

if __name__ == '__main__':
    queue = multiprocessing.Queue()
    p1 = multiprocessing.Process(target=sender, args=(queue,))
    p2 = multiprocessing.Process(target=receiver, args=(queue,))

    p1.start()
    p2.start()

    p1.join()
    p2.join()

    print("所有进程完成")

登录后复制

这个例子使用Queue在两个进程之间传递消息。

多进程与多线程的适用场景