说明:
绿框部分分别是:1、请求返回200;2、返回正确内容。
但是,应该返回100条数据,现在才返回14条,绿框部分显示的就是第14条数据。
红色框显示抓取了14条数据,然后后面就不停的<at 0 pages/min>...
我只好shutdown.
解释:
我设置了DOWNLOAD_TIMEOUT = 1200,DOWNLOAD_DELAY=1。也用了useragentmiddleware(模拟浏览器)。
不明白的地方:
这种情况是下载超时还是请求超时造成?如何解决?谢谢!
Copyright 2014-2025 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号
光阴似箭催人老,日月如移越少年。