网页爬虫 - 如何让python编写的爬虫实时运行?
PHPz
PHPz 2017-04-17 11:07:11
[Python讨论组]

问题如标题所说,用scrapy框架写了几个爬虫,由于一些原因,需要实时或者说是隔几十秒左右跑一遍,查了一下好像 time.stop()能实现,但是我这边加了之后没效果。请求支援

PHPz
PHPz

学习是最好的投资!

全部回复(3)
巴扎黑

scrapy当队列里面没有任务的时候就会退出。
所以你这样就可以 用crontab计划任务一下

PHP中文网

可以用quartz来调度scrapy

阿神

我的解决方案是用crontab。不知道和你想的方法是否匹配。

热门教程
更多>
最新下载
更多>
网站特效
网站源码
网站素材
前端模板
关于我们 免责申明 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送
PHP中文网APP
随时随地碎片化学习
PHP中文网抖音号
发现有趣的

Copyright 2014-2025 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号