首页 > 运维 > linux运维 > 正文

进程池设计

絕刀狂花
发布: 2025-04-18 10:02:13
原创
642人浏览过

进程池设计

c++d281926eda>进程池设计
代码目的头文件代码语言:c++复制
<code class="c++">#include<iostream>#include<vector>#include<unistd.h>#include<string.h>#include<cassert>#include<ctime>#include<sys/types.h>#include<sys/wait.h></code>
登录后复制
对子进程操作建立子进程对象并把子进程对象放进数组里代码语言:c++复制
<code class="c++">//创建子进程对象class  SubEp//endpoint---子进程对象{public:SubEp(pid_t subid,int writefd)//第一个参数是子进程的pid,第二个参数是该子进程读端对于父进程的写端fd:_subid(subid),_writefd(writefd){   char namebuffer[1024];   //第一个参数是表示第几号子进程,第二个参数是子进程的pid,第三个参数是该子进程读端对于的父进程的写端   snprintf(namebuffer,sizeof namebuffer,"process: %d [pid(%d) - fd(%d)]",num++,_subid,_writefd);   _name=namebuffer;}public:static int num;string _name;pid_t _subid;int _writefd;//该子进程与父进程匿名管道对于的父进程的写端fd};int SubEp::num=0;</code>
登录后复制
子进程对象需要传递两个参数来初始化成员变量_subid和 _writefd。一是子进程的pid二是该子进程读端对应父进程写端的文件描述符fd成员变量num表示是第几个创建出来的子进程,第一个创建出来的子进程为0,使用后++后续子进程的num依次是1,2等等。因此num不能由于出了SubEp对象作用域后被销毁,所以定义为static,变量num生命周期取决于SubEp类的生命周期成员变量 _name用namebuffer初始化,用来标识该子进程的其他成员变量建立子进程需要执行的任务表代码语言:c++复制
<code class="c++">//创建父进程给子进程派发的任务列表typedef void(*func_t)();//函数指针类型,函数返回值为voidvoid downloadTask()//模拟下载任务{    cout<<getpid()<<": 下载任务\n"<<endl;    sleep(1);}void fflushTask()//模拟刷新任务{    cout<<getpid()<<": 刷新任务\n"<<endl;    sleep(1);}void subscribeTask()//模拟订阅任务{    cout<<getpid()<<": 订阅任务\n"<<endl;    sleep(1);}//把上面的三种任务load到列表中即让存放函数指针的vector的各个指针能够指向上面的函数,为了后面方便调用void loadTaskFunc(vector<func_t>*out){    assert(out);//vector创建成功    out->push_back(downloadTask);    out->push_back(fflushTask);    out->push_back(subscribeTask);}</code>
登录后复制
子进程需要执行的任务都是函数对象,建立一个对象是函数指针的数组out,通过loadTaskFunc函数把任务函数尾插到数组out里,然后通过输出型参数返回。创建子进程和父进程通信的管道,并且让子进程阻塞读取代码语言:c++复制
<code class="c++">void CreateSubProcesses( vector<SubEp>*subs,vector<func_t>& funcMap){    vector<int> deleteFd;//创建子进程并且创建好父进程与各个子进程通信的管道int fds[2];for(size_t i=0;i<PROCESS_NUM;i++)//创建子进程{        int n=pipe(fds);//建立父子间进程的匿名管道--建立成功返回0,建立失败返回-1        assert(n==0);//判断管道是否建立成功        (void)n;        pid_t id=fork();//创建子进程        if(id==0)        {             for(size_t i=0;i<deleteFd.size();i++) close(deleteFd[i]);//因为有写实拷贝,所以这里关闭不会影响父进程//因为子进程会继承父进程文件描述符表,所以上一个子进程的读端对应的父进程的写端这个进程也会继承下来,即当前子进程和上一个子进程之间也有匿名管道//可能会导致上一个子进程的父进程读端关闭,而此时还有当前这个子进程的读端连接着上一个子进程,使得上一个子进程不能正常关闭读端而造成bug//所以要手动关闭当前子进程对应上一个子进程的读端的写端。            close(fds[1]);//关闭子进程的写端-保留读端负责读           //对子进程操作     while(true)     {        //1. 获取任务码,让子进程阻塞等待父进程写写入的任务码,        int taskcode=receiveTask(fds[0]);        //2.完成任务--调用对应任务码的函数        if(taskcode>=0 && taskcode<funcMap.size())         funcMap[taskcode]();//调用函数完成任务        else if(taskcode==-1)  break;     }            exit(0);//子进程退出        }    //这里往后是父进程语句  //写端关闭,读端读到0然后读端自己关闭        close(fds[0]);//关闭当前子进程与父进程相联系的匿名管道的父进程的读端        SubEp sub(id,fds[1]);//第一个参数传的是子进程的pid,第二个参数传的是此时子进程读端对于的父进程的写端        subs->push_back(sub);        deleteFd.push_back(fds[1]);//记录当前的写端供下个子进程用}</code>
登录后复制
在函数CreateSubProcesses内,先建立父进程相连的匿名管道,然后创建子进程,子进程也拷贝了一份父进程的文件描述符表,能通过文件描述符连接到匿名管道,因此父子进程通信的管道建立完成。在父进程语句中,需要注意的是,通过传参数子进程的pid和此时子进程读端对于的父进程的写端fd给SubEP类构建子进程对象,并且将对象放进数组subs里。在子进程的语句中,通过receiveTask函数获取任务码代码语言:c++复制
<code class="c++">int receiveTask(int readfd){    int retcode=0;//返回任务码    ssize_t s= read(readfd,&retcode,sizeof(retcode));//从读端读出来的任务码放到retcode里    cout<<"process has read the TaskCode: "<<retcode<<endl;    if(s==sizeof(int)) return retcode;    else if(s<=0)return -1;    else return 0;}</code>
登录后复制
让子进程在receiveTask函数中阻塞读取管道里的数据。前提已知父进程往匿名管道写入整数数据,数据范围为0,任务个数-1即任务数组对应的下标范围,子进程把读取到的数据存到变量retcode里,然后判断retcode是否是整数数据大小,如果是就返回数据给上层CreateSubProcesses函数,如果不是就返回-1。当变量taskcode接收到receiveTask函数返回的任务码时,如果任务码符合范围0,任务个数-1即父子进程按照我们的意愿通信正常,然后子进程拿着任务码调用funcMap数组执行任务;但如果接收的返回值是-1,则是父子进程间通信不正常,直接退出判断语句。

这里提到的子进程操作主要是子进程阻塞读取父进程写入的数据,还有子进程拿到数据执行任务。

对父进程操作代码语言:c++复制
<code class="c++">void loadBalanceContrl(const vector<SubEp>& subs,const vector<func_t> &funcMap,int comcode){    int processnum=subs.size();//子进程的个数    int tasknum=funcMap.size();//任务的个数    bool numoftime=(comcode==0?true:false);//若命令码是0则一直运行,若命令码为正数x,则允许x次后退出    while(true)    {   //rand()为伪随机数   //1.找到哪一个子进程   int subIndex=rand()%processnum;    //2.找到哪一个执行哪一个任务   int taskIndex=rand()%tasknum;    //3.任务发送给选择的进程     sendTask(subs[subIndex],taskIndex);//第一个参数传第几个子进程,第二个参数传第几个任务     sleep(1);  if(!numoftime)  {    comcode--;    if(comcode==0)    break;  }    }    //走到这里则是父进程给子进程通信完了,需要逐个关闭子进程读端对于的写端--倒退关解决bug    for(size_t i=0;i<subs.size();i++)    {      close(subs[i]._writefd);      cout<<"close process: [ "<<i<<" ]'s writeeop"<<endl;    }}</code>
登录后复制
loadBalanceContrl函数需要main函数传入子进程数组subs,任务数组funcMap和命令码comcode。comcode用来指定父进程发送多少次数据给子进程即子进程需要执行多少次任务numoftime用来鉴别父进程需要写入多少次数据,当comcode为0时则numoftime为真,则父进程死循环往匿名管道里写数据;若命令码为正数x为非0,则numoftime为假,则父进程往匿名管道里写x次数据。通过sendTask函数让父进程选择指定的子进程,写入指定的任务码到匿名管道中代码语言:c++复制
<code class="c++">void sendTask(const SubEp& process, int tasknum){    cout<<"send Task num: "<<tasknum<<" to the process: "<<process._name<<endl;//打印日志:任务几发送给几号子进程    ssize_t n=write(process._writefd,&tasknum,sizeof(tasknum));//该子进程读端对于的写端往管道里写入任务几-4个字节的数据    assert(n==sizeof(int));//判断写入的数据是否是4个字节    (void)n;}</code>
登录后复制
父子间进程通信完之后,按照子进程创建时间从先往后依次关闭子进程读端对应的父进程的写端。回收子进程代码语言:c++复制
<code class="c++">void waitProcess(const vector<SubEp>& processes){    for(size_t i=0;i<processes.size();i++)    {        waitpid(processes[i]._subid,nullptr,0);        cout<<"wait success for process: "<<processes[i]._subid<<endl;    }}</code>
登录后复制
按照子进程创建时间从先往后依次回收子进程。整体代码代码语言:c++复制
<code class="c++">#include<iostream>#include<vector>#include<unistd.h>#include<string.h>#include<cassert>#include<ctime>#include<sys/types.h>#include<sys/wait.h>using namespace std;#define PROCESS_NUM 3#define MakeSeed() srand((unsigned long)time(nullptr)^getpid()^rand()%1234)//建立伪随机数种子//创建父进程给子进程派发的任务列表typedef void(*func_t)();//函数指针类型,函数返回值为voidvoid downloadTask()//模拟下载任务{    cout<<getpid()<<": 下载任务\n"<<endl;    sleep(1);}void fflushTask()//模拟刷新任务{    cout<<getpid()<<": 刷新任务\n"<<endl;    sleep(1);}void subscribeTask()//模拟订阅任务{    cout<<getpid()<<": 订阅任务\n"<<endl;    sleep(1);}//把上面的三种任务load到列表中即让存放函数指针的vector的各个指针能够指向上面的函数,为了后面方便调用void loadTaskFunc(vector<func_t>*out){    assert(out);//vector创建成功    out->push_back(downloadTask);    out->push_back(fflushTask);    out->push_back(subscribeTask);}//创建子进程对象class  SubEp//endpoint---子进程对象{public:SubEp(pid_t subid,int writefd)//第一个参数是子进程的pid,第二个参数是该子进程读端对于父进程的写端fd:_subid(subid),_writefd(writefd){   char namebuffer[1024];   //第一个参数是表示第几号子进程,第二个参数是子进程的pid,第三个参数是该子进程读端对于的父进程的写端   snprintf(namebuffer,sizeof namebuffer,"process: %d [pid(%d) - fd(%d)]",num++,_subid,_writefd);   _name=namebuffer;}public:static int num;string _name;pid_t _subid;int _writefd;//该子进程与父进程匿名管道对于的父进程的写端fd};int SubEp::num=0;int receiveTask(int readfd){    int retcode=0;//返回任务码    ssize_t s= read(readfd,&retcode,sizeof(retcode));//从读端读出来的任务码放到retcode里    cout<<"process has read the TaskCode: "<<retcode<<endl;    if(s==sizeof(int)) return retcode;    else if(s<=0)return -1;    else return 0;}void CreateSubProcesses( vector<SubEp>*subs,vector<func_t>& funcMap){    vector<int> deleteFd;//创建子进程并且创建好父进程与各个子进程通信的管道int fds[2];for(size_t i=0;i<PROCESS_NUM;i++)//创建子进程{        int n=pipe(fds);//建立父子间进程的匿名管道--建立成功返回0,建立失败返回-1        assert(n==0);//判断管道是否建立成功        (void)n;        pid_t id=fork();//创建子进程        if(id==0)//子进程进入判断语句        {            for(size_t i=0;i<deleteFd.size();i++) close(deleteFd[i]);//因为有写实拷贝,所以这里关闭不会影响父进程//因为子进程会继承父进程文件描述符表,所以上一个子进程的读端对应的父进程的写端这个进程也会继承下来,即当前子进程和上一个子进程之间也有匿名管道//可能会导致上一个子进程的父进程读端关闭,而此时还有当前这个子进程的读端连接着上一个子进程,使得上一个子进程不能正常关闭读端而造成bug//所以要手动关闭当前子进程对应上一个子进程的读端的写端。            close(fds[1]);//关闭子进程的写端-保留读端负责读           //对子进程操作     while(true)     {        //1. 获取任务码,让子进程阻塞等待父进程写写入的任务码,        int taskcode=receiveTask(fds[0]);        //2.完成任务--调用对应任务码的函数        if(taskcode>=0 && taskcode<funcMap.size())         funcMap[taskcode]();//调用函数完成任务        else if(taskcode==-1)  break;     }            exit(0);        }  //写端关闭,读端读到0然后读端自己关闭        close(fds[0]);//关闭当前子进程与父进程相联系的匿名管道的父进程的读端        SubEp sub(id,fds[1]);//第一个参数传的是子进程的pid,第二个参数传的是此时子进程读端对于的父进程的写端        subs->push_back(sub);       deleteFd.push_back(fds[1]);//记录当前的写端供下个子进程用}}void sendTask(const SubEp& process, int tasknum){    cout<<"send Task num: "<<tasknum<<" to the process: "<<process._name<<endl;//打印日志:任务几发送给几号子进程    ssize_t n=write(process._writefd,&tasknum,sizeof(tasknum));//该子进程读端对于的写端往管道里写入任务几-4个字节的数据    assert(n==sizeof(int));//判断写入的数据是否是4个字节    (void)n;}void loadBalanceContrl(const vector<SubEp>& subs,const vector<func_t> &funcMap,int comcode){    int processnum=subs.size();//子进程的个数    int tasknum=funcMap.size();//任务的个数    bool numoftime=(comcode==0?true:false);//若命令码是0则一直运行,若命令码为正数x,则允许x次后退出    while(true)    {        //rand()为伪随机数   //1.找到哪一个子进程   int subIndex=rand()%processnum;    //2.找到哪一个执行哪一个任务   int taskIndex=rand()%tasknum;    //3.任务发送给选择的进程     sendTask(subs[subIndex],taskIndex);//第一个参数传第几个子进程,第二个参数传第几个任务     sleep(1);  if(!numoftime)  {    comcode--;    if(comcode==0)    break;  }    }    //走到这里则是父进程给子进程通信完了,需要逐个关闭子进程读端对于的父进程写端    for(size_t i=0;i<subs.size();i++)    {      close(subs[i]._writefd);      cout<<"close process: [ "<<i<<" ]'s writeeop"<<endl;    //    waitpid(subs[i]._subid,nullptr,0);    //     cout<<"wait success for process: "<<subs[i]._subid<<endl;    }}void waitProcess(const vector<SubEp>& processes){    for(size_t i=0;i<processes.size();i++)    {        waitpid(processes[i]._subid,nullptr,0);        cout<<"wait success for process: "<<processes[i]._subid<<endl;    }}int main(){    MakeSeed();//建立伪随机数种子vector<SubEp> subs;//创建子进程对象并将子进程对象放进数组里vector<func_t> funcMap;//建立一个任务表:父进程写入管道,子进程在管道读取,读取到的数据引导子进程去完成一些任务loadTaskFunc(&funcMap);//1.创建子进程并且创建好父进程与各个子进程通信的管道,并且让子进程阻塞等待父进程写入CreateSubProcesses(&subs,funcMap);//2.对父进程操作//父进程给子进程发送命令码,为0则一直运行,为正数x则运行x次后退出int Runcount=0;cout<<"请输入需要执行几次任务,输入0则为一直循环执行任务,请输入: ";cin>>Runcount;cout<<endl;//这个函数负责让父进程给子进程发送命令码,让子进程去执行任务,要求子进程做到负载均衡     loadBalanceContrl(subs,funcMap,Runcount);//第一个参数是子进程列表,第二个参数任务列表,第三个参数是父进程给子进程发送的命令码 //3.回收子进程waitProcess(subs);    return 0;}</code>
登录后复制
子进程具有读端未关闭的bug
进程池设计image-20230522164129612
进程池设计image-20230522164147020
进程池设计image-20230522164456853
通过上面的图例可以看到,2号子进程有一个写端与1号子进程的读端通信着。

得出结论:当父进程创建多个子进程,并且父进程作为写端而多个子进程作为读端从而进行进程间通信时,需要单独把子进程的所有写端都关闭。

创客贴设计
创客贴设计

创客贴设计,一款智能在线设计工具,设计不求人,AI助你零基础完成专业设计!

创客贴设计 51
查看详情 创客贴设计

这里提供两种方法关闭子进程的所有写端

方案一:在父进程创建子进程前构建一个vector对象,父进程创建子进程后,把父进程的写端放进vector里。等到父进程创建完下一个子进程时,vector里的写端即是当前子进程读端对应的上一个子进程的写端(有可能不只是一个写端),再把vector里的所有写端关闭即可。
进程池设计image-20230522202611512
进程池设计image-20230522203254968
这次实现就是用的这个方案,其实不用也可以,因为当父进程往匿名管道里写完数据时,先把父进程对应各个子进程的写端全部关闭,然后再将全部子进程进行回收,这种顺序不会出现bug;但如果是按照创建子进程时间从旧往新关掉一个父进程的写端,然后立刻等待回收一个相应的子进程的话,会导致出现该子进程读端还有其他子进程的写端通信着,该子进程读端没有读到0导致子进程没有正常退出,那么父进程也就回收不到子进程。方案二:在父进程关闭写端,需要所有子进程关闭读端时,依次按照创建的时间从新往旧(从后往前)关闭父进程的写端。由于最后创建的子进程的读端只对应父进程的写端,那么父进程关闭写端时,最后一个子进程的读端读到0正常关闭读端,那么该子进程的文件描述符表也会被关闭,进而该子进程正常退出,从而该子进程连接着前一个子进程的写端也会被关闭;那么轮到下一个子进程时,该子进程的读端也只会对应父进程的写端,父进程关闭写端,子进程读端读到0正常关闭读端,子进程正常退出。

以上就是进程池设计的详细内容,更多请关注php中文网其它相关文章!

最佳 Windows 性能的顶级免费优化软件
最佳 Windows 性能的顶级免费优化软件

每个人都需要一台速度更快、更稳定的 PC。随着时间的推移,垃圾文件、旧注册表数据和不必要的后台进程会占用资源并降低性能。幸运的是,许多工具可以让 Windows 保持平稳运行。

下载
来源:php中文网
本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn
最新问题
开源免费商场系统广告
热门教程
更多>
最新下载
更多>
网站特效
网站源码
网站素材
前端模板
关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新 English
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送
PHP中文网APP
随时随地碎片化学习

Copyright 2014-2025 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号