python - Scrapy的spider在IDE中方便运行调试
typecho
typecho 2017-06-28 09:25:49
[Python讨论组]

我有很多spider,不能每次调试都手动创建一个debugger吧(scrapy crawl spider_name)

想可以在spider文件中直接右键运行/调试。

typecho
typecho

Following the voice in heart.

全部回复(2)
欧阳克

参考文章:Scrapy爬虫常见问题总结

spider方便运行/调试

在spider文件中,加入cmdline的调用方法

import scrapy.cmdline

#Your Spider Class...

def main():
    scrapy.cmdline.execute(['scrapy', 'crawl', 'your_spider_name'])

if __name__ == '__main__':
    main()
过去多啦不再A梦

新建一个py文件,用这个来调试

from scrapy.cmdline import execute

import sys
import os


sys.path.append(os.path.dirname(os.path.abspath(__file__)))

execute(["scrapy","crawl","YOUR_SPIDER"])
热门教程
更多>
最新下载
更多>
网站特效
网站源码
网站素材
前端模板
关于我们 免责申明 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送
PHP中文网APP
随时随地碎片化学习
PHP中文网抖音号
发现有趣的

Copyright 2014-2025 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号