1
7782017-05-12 23:39:52 [scrapy.extensions.logstats] INFO:
Crawled 3000 pages (at 61 pages/min), scraped 454 items (at 10 items/min)
为什么我使用scrapy爬取的时候访问pages要比实际进入items的的多的多?
就是爬了半天items里没有几条数据入库的
有什么办法解决么？
Copyright 2014-2025 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号
![ThinkPHP5快速开发企业站点[全程实录]](https://img.php.cn/upload/course/000/000/068/6253d918a3ce7278.png)
收藏
重定向了，你看到了吧，重定向就得请求两个页面啊。还有就是看有不有页面解析发生了错误。