文章 专题 AI工具 学习 下载 问答 源码 最近更新
PHP
会员中心 讲师中心 微信公众号
使用python scrapy框架,循环爬取URL, 每次运行一段时间后直接卡死,没有任何报错
世界只因有你
世界只因有你 2017-06-12 09:27:08
[Python讨论组]
0 2 1023
举报

每次运行半小时左右, 直接卡死, log里没有任何报错, 卡死的时候CPU占用率非常高

我在setting.py里设置了download timeout,不是超时的原因

ctrl-c无法正常退出, ctrl-z退出以后, 继续执行还是同样的问题, 半小时后再次卡死

世界只因有你
世界只因有你

全部回复(2)
高洛峰
高洛峰2017-06-12 09:29:08 2楼

先TOP看看是内否过高，还是CPU过高，再找到是被哪些进程占用了
如果都是你的爬虫进程，那就得排查代码，看看是不是哪里一直未被释放

总之从各方面去排查吧

赞 +0
添加回复
PHP中文网
PHP中文网2017-06-12 09:29:08 1楼

strace

赞 +0
添加回复
专题推荐
更多>
热门话题
热门教程
更多>
相关教程
热门推荐
最新课程
最新下载
更多>
网站特效
网站源码
网站素材
前端模板
关于我们 免责申明 意见反馈 讲师合作 广告合作 最新更新
php中文网：公益在线php培训，帮助PHP学习者快速成长！
关注服务号 技术交流群
app下载
PHP中文网订阅号
每天精选资源文章推送
PHP中文网APP
随时随地碎片化学习
PHP中文网抖音号
发现有趣的

Copyright 2014-2025 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号

  • PHP学习

  • 技术支持

  • 返回顶部