使用 Scrapy 抓取网页时返回空数组的解决方案

本文旨在解决在使用 Scrapy 爬取网页时，由于 tbody 标签的特殊性导致 XPath 表达式返回空数组的问题。通过分析问题原因，并提供绕过 tbody 标签直接查询 tr 标签的有效方法，帮助开发者成功抓取目标数据，避免爬虫失效。

在使用 Scrapy 进行网页数据抓取时，有时会遇到 XPath 表达式返回空数组的情况，即使在浏览器开发者工具中确认该元素确实存在。一个常见的原因是 tbody 标签的特殊性。许多网页的 HTML 源码中并不包含 tbody 标签，而是由浏览器在渲染页面时动态添加的。因此，直接使用包含 tbody 的 XPath 表达式可能无法匹配到任何元素，导致 Scrapy 返回空数组。

问题分析

假设我们需要抓取 https://cve.mitre.org/cgi-bin/cvekey.cgi?keyword=hp 页面中表格的所有行。我们可能会尝试使用以下 XPath 表达式：

//div[@id='TableWithRules']//tbody/tr

然而，在 Scrapy shell 中执行该表达式会返回一个空数组。这是因为该网页的 HTML 源码中并不包含 tbody 标签。

解决方案

解决这个问题的方法是绕过 tbody 标签，直接查询 tr 标签。以下是两种可行的解决方案：

1. 直接查询 tr 标签

最简单的方法是直接查询 div 元素下的所有 tr 标签：

rows = response.xpath("//div[@id='TableWithRules']//tr")

这条 XPath 表达式会返回所有 tr 标签，包括表头行。

2. 排除表头行

如果需要排除表头行，可以使用以下 XPath 表达式：

rows = response.xpath("//div[@id='TableWithRules']//tr[td]")

这条 XPath 表达式会选择所有包含 td 标签的 tr 标签，从而排除表头行（通常包含 th 标签）。

代码示例

以下代码展示了如何在 Scrapy shell 中使用这两种方法：

scrapy shell https://cve.mitre.org/cgi-bin/cvekey.cgi?keyword=hp

# 直接查询所有 tr 标签
rows = response.xpath("//div[@id='TableWithRules']//tr")
print(len(rows)) # 输出：3366

# 排除表头行
rows = response.xpath("//div[@id='TableWithRules']//tr[td]")
print(len(rows)) # 输出：3365

注意事项

• 在编写 XPath 表达式时，务必先检查目标网页的 HTML 源码，确认元素的实际结构。
• 如果网页使用 JavaScript 动态生成内容，可能需要使用 Scrapy 的 Splash 或 Selenium 等中间件来渲染页面，才能正确抓取数据。
• 频繁爬取同一网站可能会触发反爬机制，建议设置合理的爬取频率，并使用 User-Agent 伪装等技术来避免被封禁。

总结

当使用 Scrapy 抓取网页时，遇到 XPath 表达式返回空数组的问题，首先要检查 tbody 标签是否存在于 HTML 源码中。如果 tbody 标签是由浏览器动态添加的，则需要绕过它，直接查询 tr 标签。通过本文提供的解决方案，可以有效地解决这个问题，成功抓取目标数据。

以上就是使用 Scrapy 抓取网页时返回空数组的解决方案的详细内容，更多请关注php中文网其它相关文章！