Python中如何使用多进程？multiprocessing优化技巧

在python中处理计算密集型任务时，多进程优于多线程。1. 使用process或pool创建进程，前者适合少量独立进程，后者适合批量任务；2. 多进程默认不共享内存，可用queue、pipe或共享变量通信；3. 控制并发数量以优化性能，建议设为cpu核心数，i/o任务可适当增加；4. 子进程应处理异常并考虑设为守护进程以简化退出逻辑。

在Python中，如果你需要处理计算密集型任务，多进程（multiprocessing）比多线程更合适。因为多线程受GIL（全局解释器锁）限制，并不能真正并行执行多个线程。而多进程可以绕过GIL，充分利用多核CPU资源。

使用multiprocessing模块是实现多进程最直接的方式。下面是一些实用技巧和建议，帮助你更好地使用它。

1. 基本用法：Process 和 Pool

multiprocessing提供了两种主要方式来创建进程：

立即学习“Python免费学习笔记（深入）”；

• Process：适合启动少量独立子进程。
• Pool：适合批量处理任务，比如对一个列表中的每个元素执行相同操作。

示例代码（Process）：

from multiprocessing import Process
import os

def worker():
    print(f"当前进程ID: {os.getpid()}")

p = Process(target=worker)
p.start()
p.join()

示例代码（Pool）：

from multiprocessing import Pool

def square(x):
    return x * x

with Pool(4) as pool:
    result = pool.map(square, [1, 2, 3, 4])
    print(result)

提示：Pool默认会根据CPU核心数自动分配工作进程，也可以手动指定数量。

2. 注意数据共享与通信

多进程之间默认不共享内存，因此不能像多线程那样直接访问同一个变量。如果需要通信，可以用以下几种方式：

• Queue：跨进程队列，先进先出
• Pipe：点对点通信，适合两个进程之间
• Value / Array：共享内存变量

示例（使用Queue）：

from multiprocessing import Process, Queue

def worker(q):
    q.put("来自子进程的消息")

q = Queue()
p = Process(target=worker, args=(q,))
p.start()
print(q.get())  # 输出：来自子进程的消息
p.join()

小贴士：尽量避免复杂的共享状态，保持各进程之间的独立性，这样更容易调试和维护。

巧文书

巧文书是一款AI写标书、AI写方案的产品。通过自研的先进AI大模型，精准解析招标文件，智能生成投标内容。

61

查看详情

3. 控制并发数量，防止资源耗尽

虽然开启的进程越多，理论上效率越高，但并不是越多越好。太多进程会导致上下文切换频繁、资源竞争激烈，反而影响性能。

你可以通过以下方式优化：

• 明确指定Pool的进程数，例如设置为cpu_count()：

  from multiprocessing import cpu_count, Pool
  
  with Pool(cpu_count()) as p:
      ...

  登录后复制

• 对于I/O密集型任务，适当增加并发数（比如设置为2倍CPU核心数），因为进程在等待I/O时不会占用CPU。

• 使用apply_async或map_async进行异步调用，控制任务提交节奏。

4. 异常处理和守护进程

多进程中出现异常不容易捕获，尤其是使用Pool的时候。建议：

• 在子进程中加入try-except块，把错误信息记录下来或返回给主进程。
• 使用守护进程（daemon=True）让子进程随主进程结束而自动终止。

示例（异常处理）：

def safe_worker(x):
    try:
        return x / 0
    except Exception as e:
        return f"出错了：{e}"

with Pool(2) as pool:
    res = pool.map(safe_worker, [1, 2])
    print(res)

基本上就这些。掌握好multiprocessing的基础用法和常见优化技巧，就能应对大多数并行计算场景了。关键是在实践中根据任务类型调整策略，别盲目追求“并发越多越好”。

以上就是Python中如何使用多进程？multiprocessing优化技巧的详细内容，更多请关注php中文网其它相关文章！