文章 专题 AI工具 学习 下载 问答 源码 最近更新
PHP
会员中心 讲师中心 微信公众号
python - 如何基于 Celery 做爬虫但遇到些坑，如重复执行了一个任务、 db 对象内数据有错误
阿神
阿神 2017-04-17 14:49:15
[Python讨论组]
0 1 331
举报

因为要爬特定领域内的一些站点。每次存储过程需要反复和数据库进行信息增删。
现在我遇到三个问题：

  1. 出现重复执行的任务
  2. db 对象里有错误数据（而且都是固定的一个值）
  3. 明明不改有重复的数据却提示我主键重复，而且每次都是那固定几个。但去数据库中找，发现这些数据又已经存在

运行模式：celery -A celeryd worker -P eventlet -c 100 -l info
而且，并放量越多，错误越多。
broker 使用的是 Redis，数据库用的是 MariaDB。

阿神
阿神

闭关修行中......

全部回复(1)
阿神
阿神2017-04-17 14:51:15 1楼

每次双击xml文件都会报

赞 +0
添加回复
专题推荐
更多>
热门话题
热门教程
更多>
相关教程
热门推荐
最新课程
最新下载
更多>
网站特效
网站源码
网站素材
前端模板
关于我们 免责申明 意见反馈 讲师合作 广告合作 最新更新
php中文网：公益在线php培训，帮助PHP学习者快速成长！
关注服务号 技术交流群
app下载
PHP中文网订阅号
每天精选资源文章推送
PHP中文网APP
随时随地碎片化学习
PHP中文网抖音号
发现有趣的

Copyright 2014-2025 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号

  • PHP学习

  • 技术支持

  • 返回顶部