扫码关注官方订阅号
问题如标题所说,用scrapy框架写了几个爬虫,由于一些原因,需要实时或者说是隔几十秒左右跑一遍,查了一下好像 time.stop()能实现,但是我这边加了之后没效果。请求支援
学习是最好的投资!
scrapy当队列里面没有任务的时候就会退出。 所以你这样就可以 用crontab计划任务一下
可以用quartz来调度scrapy
我的解决方案是用crontab。不知道和你想的方法是否匹配。
微信扫码关注PHP中文网服务号
QQ扫码加入技术交流群
扫描下载App
Copyright 2014-2025 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号
PHP学习
技术支持
返回顶部
scrapy当队列里面没有任务的时候就会退出。
所以你这样就可以 用crontab计划任务一下
可以用quartz来调度scrapy
我的解决方案是用crontab。不知道和你想的方法是否匹配。