文章 专题 AI工具 学习 下载 问答 源码 最近更新
PHP
会员中心 讲师中心 微信公众号
数据采集 - PHP采集超时如何解决
ringa_lee
ringa_lee 2017-04-10 14:43:13
[PHP讨论组]
0 4 677
举报

我需要采集某网站的内容页。先采集到链接，再通过链接获取内容页。但是，链接太多，一获取就超时，不得不按分类小量的获取。而分类有近300多个。手动去设置分类，也很慢。如何才能自动的去获取我想要的数据，而不会超时？请指个思路，谢谢！

不好意思，是我没说清楚。超时是504 Gateway timeout。
设置set_time_limit没用

ringa_lee
ringa_lee

ringa_lee

全部回复(4)
PHP中文网
PHP中文网2017-04-10 14:45:13 4楼

为何用php,可以尝试scrapy,很好用

赞 +0
添加回复
巴扎黑
巴扎黑2017-04-10 14:45:13 3楼

504是网关超时啊，你的Web服务器崩了吧，你可以直接命令行运行php脚本应该就没有问题吧。还有你的服务器用的是Apache还是Nginx？

唔，超时？set_time_limit(0);可以让脚本一直运行~

赞 +0
添加回复
阿神
阿神2017-04-10 14:45:13 2楼

可以修改php.ini的max_execution_time数值，或者按楼上说的，用set_time_limit 函数

赞 +0
添加回复
大家讲道理
大家讲道理2017-04-10 14:45:13 1楼

采集在命令行执行,不会超时 :)

赞 +0
添加回复
专题推荐
更多>
热门话题
热门教程
更多>
相关教程
热门推荐
最新课程
最新下载
更多>
网站特效
网站源码
网站素材
前端模板
关于我们 免责申明 意见反馈 讲师合作 广告合作 最新更新
php中文网：公益在线php培训，帮助PHP学习者快速成长！
关注服务号 技术交流群
app下载
PHP中文网订阅号
每天精选资源文章推送
PHP中文网APP
随时随地碎片化学习
PHP中文网抖音号
发现有趣的

Copyright 2014-2025 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号

  • PHP学习

  • 技术支持

  • 返回顶部