Python 多进程加速：使用 Pool 实现并行计算-Python教程-PHP中文网

Python 多进程加速：使用 Pool 实现并行计算

霞舞

发布： 2025-08-13 18:46:00

原创

590人浏览过

python 多进程加速：使用 pool 实现并行计算

本文旨在介绍如何使用 Python 的 multiprocessing 模块中的 Pool 类来实现并行计算，从而有效提升程序的执行效率。通过示例代码，详细讲解了如何创建进程池、提交任务以及获取结果，并对比了使用 Process 和 Queue 的方式，帮助读者理解 Pool 的优势和适用场景。

Python 的 multiprocessing 模块提供了强大的多进程支持，允许开发者利用多核 CPU 的优势，显著提升程序的运行速度。当程序中存在耗时的、可以并行执行的任务时，使用多进程技术是一个有效的解决方案。其中，Pool 类是 multiprocessing 模块中一个非常重要的工具，它提供了一种简单高效的方式来管理和分配多个进程。

使用 Pool 实现并行计算

Pool 类可以创建进程池，将任务分配给池中的进程并行执行。相比于手动创建和管理进程，Pool 提供了更简洁的接口，并能自动管理进程的生命周期，简化了多进程编程的复杂性。

以下是一个使用 Pool 实现并行计算的示例：

立即学习“Python免费学习笔记（深入）”；

import time
from multiprocessing import Pool


def task_paralela(parameter):
    # ret = task(parameter)
    # simulate long running task:
    time.sleep(2)  # 模拟耗时任务
    return parameter * 10


if __name__ == "__main__":
    start = time.time()

    cores = 4  # 定义进程数
    parameters = [1, 2, 3, 4]  # 定义任务参数

    with Pool(processes=cores) as pool:
        results = pool.imap_unordered(task_paralela, parameters)
        for result in results:
            print(result)

    end = time.time()

    total_time = end - start
    print(f"Total time: {total_time}")

登录后复制

代码解释：

导入模块： 首先导入 time 和 multiprocessing 模块。
定义任务函数： task_paralela 函数模拟一个耗时任务，接受一个参数，并返回计算结果。 time.sleep(2) 模拟任务的执行时间。
创建进程池： 在 if __name__ == "__main__": 代码块中，首先记录开始时间。然后，使用 Pool(processes=cores) 创建一个进程池，指定池中进程的数量为 cores (这里设置为4，可以根据 CPU 核心数进行调整)。 with 语句确保进程池在使用完毕后能够正确关闭。
提交任务： 使用 pool.imap_unordered(task_paralela, parameters) 将任务提交给进程池。imap_unordered 方法将 parameters 中的每个元素作为参数传递给 task_paralela 函数，并将任务分配给池中的进程并行执行。 imap_unordered 不保证返回结果的顺序与输入参数的顺序一致。如果需要保证顺序，可以使用 imap 方法。
获取结果： 通过循环遍历 results 对象，可以获取每个任务的执行结果。
计算总时间： 记录结束时间，并计算总的执行时间。