curl多线程采撷不是采集不到就是采不全

php中文网
发布: 2016-06-13 11:24:26
原创
1016人浏览过
curl多线程采集不是采集不到就是采不全?
如题,代码如下,请问如何解决?
<br>/** <br>     * curl 多线程 <br>     *  <br>     * @param array $array 并行网址 <br>     * @param int $timeout 超时时间<br>     * @return array <br>     */<br> function Curl_http($array,$timeout){<br>    $res = array();<br>    $mh = curl_multi_init();//创建多个curl语柄<br>    $startime = getmicrotime();<br>    foreach($array as $k=&gt;$url){<br>        $conn[$k]=curl_init($url);<br>        curl_setopt($conn[$k], CURLOPT_TIMEOUT, $timeout);//设置超时时间<br>        curl_setopt($conn[$k], CURLOPT_USERAGENT, 'Mozilla/5.0 (compatible; MSIE 5.01; Windows NT 5.0)');<br>        curl_setopt($conn[$k], CURLOPT_MAXREDIRS, 7);//HTTp定向级别<br>        curl_setopt($conn[$k], CURLOPT_HEADER, 0);//这里不要header,加块效率<br>        curl_setopt($conn[$k], CURLOPT_FOLLOWLOCATION, 1); // 302 redirect<br>        curl_setopt($conn[$k],CURLOPT_RETURNTRANSFER,1);<br>        curl_multi_add_handle ($mh,$conn[$k]);<br>    }<br>     //防止死循环耗死cpu 这段是根据网上的写法<br>        do {<br>            $mrc = curl_multi_exec($mh,$active);//当无数据,active=true<br>        } while ($mrc == CURLM_CALL_MULTI_PERFORM);//当正在接受数据时<br>        while ($active and $mrc == CURLM_OK) {//当无数据时或请求暂停时,active=true<br>            if (curl_multi_select($mh) != -1) {<br>                do {<br>                    $mrc = curl_multi_exec($mh, $active);<br>                } while ($mrc == CURLM_CALL_MULTI_PERFORM);<br>            }<br>        }<br>    foreach ($array as $k =&gt; $url) {<br>          curl_error($conn[$k]);<br>          $res[$k]=curl_multi_getcontent($conn[$k]);//获得返回信息<br>          $header[$k]=curl_getinfo($conn[$k]);//返回头信息<br>          curl_close($conn[$k]);//关闭语柄<br>          curl_multi_remove_handle($mh  , $conn[$k]);   //释放资源  <br>        }<br>        curl_multi_close($mh);<br>        $endtime = getmicrotime();<br>        $diff_time = $endtime - $startime;<div class="clear"></div>
登录后复制
相关标签:
最佳 Windows 性能的顶级免费优化软件
最佳 Windows 性能的顶级免费优化软件

每个人都需要一台速度更快、更稳定的 PC。随着时间的推移,垃圾文件、旧注册表数据和不必要的后台进程会占用资源并降低性能。幸运的是,许多工具可以让 Windows 保持平稳运行。

下载
来源:php中文网
本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn
最新问题
开源免费商场系统广告
热门教程
更多>
最新下载
更多>
网站特效
网站源码
网站素材
前端模板
关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2025 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号