python中fork的代价
PHPz
PHPz 2017-04-17 13:35:12
[Python讨论组]
PHPz
PHPz

学习是最好的投资!

全部回复(2)
ringa_lee

我纯粹来作为字面党回答下楼主“Python中fork的代价有多大”:

写一段C++的代码和Python的代码,都是做同样的事,fork10000次,每次创建子进程后立刻结束子进程。

#!/usr/bin/env python
# coding: utf-8

import time
import os

start = time.time()
for i in range(10000):
    pid = os.fork()
    if pid == 0:
        os._exit(0)
print time.time() - start # 单位为秒
#include <ctime>
#include <iostream>
#include <unistd.h>

int main()
{
    int pid;
    std::clock_t c_start = std::clock();
    for (int i = 0; i < 10000; ++i) {
        if ((pid = fork()) == 0) {
            _exit(0);
        }
    }
    std::cout << (std::clock() - c_start) / 1000 <<" ms\n";
    return 0;
}

结果:python版本用时3秒左右,C++版本用时700多毫秒。python :c++为4倍左右。
考虑到一般情况下python跟c++在运行效率上的差异,这个差距算是很好了。

c++是直接使用系统调用fork函数,所以python中fork的代价现在应该很明了。

高洛峰

python多线程确实存在无法有效利用多核的情况。可以采用多进程方式,用multiprocessing这个库。不需要你去手动的fork。此外python的fork底层应该调用的就是linux的fork系统调用,所以代价不会很大。
关于multiprocessing,下面是一段示例代码:

from multiprocessing import Pool

def worker(src):
    handle(src)

if __name__ == "__main__":
    pool = Pool(100)
    src_list = get_src_list()
    ret = pool(worker, src_list)
    print(ret)

上面就是一个100进程的进程池,src_list是待处理的数据,进程池会自动把其中项目分配给不同的worker进程去处理,可以有效利用多核。

热门教程
更多>
最新下载
更多>
网站特效
网站源码
网站素材
前端模板
关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新 English
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送
PHP中文网APP
随时随地碎片化学习

Copyright 2014-2025 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号