python - pyspider爬pdf爬了一小段时间后就不动了
迷茫
迷茫 2017-04-18 10:31:58
[Python讨论组]


下载了一小部分之后就不动了,stop之后重新跑也没有任何反应,有人知道是怎么回事吗?谢谢大家。

迷茫
迷茫

业精于勤,荒于嬉;行成于思,毁于随。

全部回复(2)
巴扎黑

放代码吧 骚年

阿神

根据 dashboard 最上方的信息

scheduler 到 fetcher 有100条队列中的任务
fetcher 到 processor 也有100条队列中的任务
processor 下游都是空的

因为默认的队列容量为 100,这说明在 processor 发生了堵塞,那就要看 processor 在干什么,是不是死掉了。

热门教程
更多>
最新下载
更多>
网站特效
网站源码
网站素材
前端模板
关于我们 免责申明 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送
PHP中文网APP
随时随地碎片化学习
PHP中文网抖音号
发现有趣的

Copyright 2014-2025 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号