文章 专题 AI工具 学习 下载 问答 源码 最近更新
PHP
会员中心 讲师中心 微信公众号
python - scrapy抓取知网response的内容重复
黄舟
黄舟 2017-06-30 09:55:07
[Python讨论组]
0 3 1129
举报

遍历请求翻页的url

for i in range(3):
    yield Request("http:xx/page/%s"%str(i),callback=self.parse_page)

结果response请求成功 但是每次内容都一样的没变化都是第一次请求时的内容，但是用postman分别请求分页的url就没有这问题。= = 是被ban了吗 之前就不会这样

黄舟
黄舟

人生最曼妙的风景，竟是内心的淡定与从容！

全部回复(3)
怪我咯
怪我咯2017-06-30 09:57:07 3楼

那就要分析一下用postman或者浏览器访问时请求的header头和用scrapy请求头有什么区别

赞 +0
添加回复
三叔
三叔2017-06-30 09:57:07 2楼

被反爬识别到了

赞 +0
添加回复
PHP中文网
PHP中文网2017-06-30 09:57:07 1楼

看下控制台打印的log，看看是否正确抓取了下一页
2017-06-29 09:26:13 [scrapy] DEBUG: Scraped from <200 http:xx/page/x>,
注意最后一个x(http:xx/page/x)是否是变化的

赞 +0
添加回复
专题推荐
更多>
热门话题
热门教程
更多>
相关教程
热门推荐
最新课程
最新下载
更多>
网站特效
网站源码
网站素材
前端模板
关于我们 免责申明 意见反馈 讲师合作 广告合作 最新更新
php中文网：公益在线php培训，帮助PHP学习者快速成长！
关注服务号 技术交流群
app下载
PHP中文网订阅号
每天精选资源文章推送
PHP中文网APP
随时随地碎片化学习
PHP中文网抖音号
发现有趣的

Copyright 2014-2025 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号

  • PHP学习

  • 技术支持

  • 返回顶部