扫码关注官方订阅号
我有很多spider,不能每次调试都手动创建一个debugger吧(scrapy crawl spider_name)
想可以在spider文件中直接右键运行/调试。
Following the voice in heart.
参考文章:Scrapy爬虫常见问题总结
在spider文件中,加入cmdline的调用方法
cmdline
import scrapy.cmdline #Your Spider Class... def main(): scrapy.cmdline.execute(['scrapy', 'crawl', 'your_spider_name']) if __name__ == '__main__': main()
新建一个py文件,用这个来调试
from scrapy.cmdline import execute import sys import os sys.path.append(os.path.dirname(os.path.abspath(__file__))) execute(["scrapy","crawl","YOUR_SPIDER"])
微信扫码关注PHP中文网服务号
QQ扫码加入技术交流群
扫描下载App
Copyright 2014-2025 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号
PHP学习
技术支持
返回顶部
参考文章:Scrapy爬虫常见问题总结
spider方便运行/调试
在spider文件中,加入
cmdline
的调用方法新建一个py文件,用这个来调试