Python里multiprocessing 多进程编程multiprocessing的进程池-Python教程-PHP中文网

Python里multiprocessing 多进程编程multiprocessing的进程池

下次还敢

发布： 2025-06-09 16:39:04

原创

342人浏览过

进程池是python中用于并行执行任务的工具，核心是multiprocessing.pool类。它能自动管理进程数量、任务分配和结果回收，适合cpu密集型任务。使用流程：1.导入pool模块；2.定义要执行的函数；3.创建进程池并用map或apply_async提交任务。注意事项包括：1.进程数建议设为cpu核心数；2.map适用于统一任务，apply_async更灵活；3.map返回列表，apply_async需调用get()获取结果；4可用value或array共享状态，复杂需求用manager()。不适用场景包括：任务短小、依赖性强或内存占用高。合理使用可显著提升性能，但需根据实际调整策略。

在 Python 的多进程编程中，multiprocessing 模块的进程池（Pool）是一个非常实用的工具，尤其适合处理需要并行执行多个任务的场景。它能自动管理进程数量、任务分配和结果回收，非常适合 CPU 密集型任务。

什么是进程池？

进程池的核心是 multiprocessing.Pool 类。你可以把它理解成一个“工人小组”，你把任务交给这个小组，他们自动安排谁去做哪个任务，不需要你自己一个个创建和管理进程。

举个简单的例子：假设你要处理 100 个数据文件，每个文件处理耗时较长，这时候用进程池就能同时启动多个进程来并行处理这些文件，而不是一个一个串行等下去。

怎么使用进程池？

基本使用流程如下：

立即学习“Python免费学习笔记（深入）”；

导入模块
```
from multiprocessing import Pool
```
登录后复制

定义要并行执行的函数

def process_file(filename):
    # 处理文件逻辑
    return result

登录后复制

创建进程池，并使用 map 或 apply_async 提交任务

if __name__ == '__main__':
    files = ['file1.txt', 'file2.txt', ..., 'file100.txt']
    with Pool(processes=4) as pool:  # 启动4个进程
        results = pool.map(process_file, files)

登录后复制

这样就可以并发地处理所有文件了。

注意：Windows 上运行一定要加上 if __name__ == '__main__': 这个判断，否则会报错。

常见问题和注意事项

1. 进程数设置多少合适？

一般建议设置为 CPU 核心数，可以通过 os.cpu_count() 获取。
如果进程数太多，反而会因为频繁切换上下文而降低效率。
如果任务涉及 IO 等待（比如网络请求），可以适当增加进程数。

2. 使用 map 和 apply_async 的区别

map(func, iterable) 更简单，适用于所有任务都一样、参数是单个值的情况。
apply_async(func, args=()) 更灵活，适合传多个参数或异步回调。

示例：

def add(a, b):
    return a + b

with Pool(4) as pool:
    res = pool.apply_async(add, (2, 3))
    print(res.get())  # 输出 5

登录后复制

3. 返回结果的方式

map 会直接返回一个列表，顺序和输入一致。
apply_async 需要用 .get() 方法获取结果，也可以加回调函数 .apply_async(..., callback=handle_result)。

4. 共享状态怎么办？

如果你希望多个进程共享某些变量，需要注意：

默认情况下，进程之间不共享内存。
可以使用 multiprocessing.Value 或 multiprocessing.Array 来实现共享内存。
更复杂的需求可以用 Manager() 创建一个服务器进程来管理共享对象。

什么时候不该用进程池？

虽然进程池很好用，但也不是万能的：

如果任务本身很快完成（比如几毫秒），使用进程池反而增加了进程创建销毁的开销。
如果任务之间依赖性很强，或者需要频繁通信，可能更适合用线程或其他方式。
如果你的程序已经用了大量的内存，再开多个进程可能会导致内存不足。

基本上就这些。合理使用进程池能显著提升性能，尤其是处理计算密集型任务的时候。不过要注意别一股脑全用上，还是要根据实际场景调整。

以上就是Python里multiprocessing 多进程编程multiprocessing的进程池的详细内容，更多请关注php中文网其它相关文章！