文章 专题 AI工具 学习 下载 问答 源码 最近更新
PHP
会员中心 讲师中心 微信公众号
python - 使用scrapy框架爬百度图片被墙
给我你的怀抱
给我你的怀抱 2017-05-24 11:34:48
[Python讨论组]
0 3 770
举报

请求地址url是通过firefox查看得到的json的地址，用浏览器可以打开，但是用scrapy爬的时候就被ban了求解决办法。

https://image.baidu.com/searc...

给我你的怀抱
给我你的怀抱

全部回复(3)
黄舟
黄舟2017-05-24 11:36:48 3楼

在 settings.py 将 ROBOTSTXT_OBEY = False 试试。

赞 +0
添加回复
某草草
某草草2017-05-24 11:36:48 2楼

不要加hearders试试

赞 +0
添加回复
为情所困
为情所困2017-05-24 11:36:48 1楼

赞成楼上，如果还会被墙。可采用scrapy+selenium+phantomjs的方式。

赞 +0
添加回复
专题推荐
更多>
热门话题
热门教程
更多>
相关教程
热门推荐
最新课程
最新下载
更多>
网站特效
网站源码
网站素材
前端模板
关于我们 免责申明 意见反馈 讲师合作 广告合作 最新更新
php中文网：公益在线php培训，帮助PHP学习者快速成长！
关注服务号 技术交流群
app下载
PHP中文网订阅号
每天精选资源文章推送
PHP中文网APP
随时随地碎片化学习
PHP中文网抖音号
发现有趣的

Copyright 2014-2025 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号

  • PHP学习

  • 技术支持

  • 返回顶部