百度百科网页爬虫XPath提取结果为空，如何解决？-Python教程-PHP中文网

百度百科网页爬虫XPath提取结果为空，如何解决？

DDD

发布： 2025-03-08 09:22:23

原创

556人浏览过

百度百科网页爬虫xpath提取结果为空，如何解决？

百度百科网页爬虫XPath提取失败：原因及解决方案

在使用XPath爬取百度百科数据时，经常遇到提取结果为空的情况。本文针对此问题，提供详细的分析和解决方案。

问题通常源于代码未能正确处理百度百科的页面重定向。许多爬虫程序直接使用初始URL进行请求，而忽略了百度百科返回的302 Found状态码（重定向）。浏览器会自动跳转到新的URL，但爬虫程序如果没有处理重定向，则只会获取到重定向前的页面内容，导致XPath提取失败，返回空结果。

例如，使用XPath表达式//div[contains(@class,"lemma-summary") or contains(@class,"lemmaWgt-lemmaSummary")]//text()提取摘要信息时，如果未处理重定向，则无法获取到目标摘要文本。

解决方法：处理HTTP重定向

要解决这个问题，关键在于让爬虫程序能够正确处理HTTP重定向。以下方法可以有效解决：

百度AI开放平台

百度提供的综合性AI技术服务平台，汇集了多种AI能力和解决方案

使用urllib.request.urlopen的自动重定向功能： urllib.request.urlopen函数通常会自动处理简单的重定向。但这并非总是可靠的，对于复杂的重定向场景可能失效。
手动处理重定向： 这是更稳妥的方法。当接收到302状态码时，从响应头部的Location字段获取重定向后的URL，然后使用新的URL重新发送请求。
使用urllib.request.OpenerDirector： 对于更复杂的重定向场景，可以使用urllib.request.OpenerDirector和相关类，更精细地控制请求过程，从而可靠地处理各种重定向情况。