问题
抓取数据时，通常调试信息是：
DEBUG: Crawled (200) <GET http://www.php.cn/> (referer: None)
如果出现
DEBUG: Crawled (403) <GET http://www.php.cn/> (referer: None)
表示网站采用了防爬技术anti-web-crawling technique（Amazon所用），比较简单即会检查用户代理（User Agent）信息。
解决方法
在请求头部构造一个User Agent，如下所示：
def start_requests(self):
yield Request("http://www.php.cn/",
headers={'User-Agent': "your agent string"})以上就是Python 爬虫返回403错误解决方法的详细内容，更多请关注php中文网其它相关文章！
python怎么学习？python怎么入门？python在哪学？python怎么学才快？不用担心，这里为大家提供了python速学教程(入门到精通)，有需要的小伙伴保存下载就能学习啦！
Copyright 2014-2025 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号
623
收藏
