如何使用 Scrapy 解析 XML 站点地图（Sitemap）

本文详解如何在 scrapy 中正确解析 atom/rss 格式的 xml 站点地图，重点解决命名空间配置、xpath 路径失效、xmlfeedspider 使用误区等常见问题，并提供可运行的完整示例。

Scrapy 提供了专用于解析 XML/Atom/RSS 的 XMLFeedSpider，但其行为与常规 HTML Spider 有显著差异——它不依赖 CSS 选择器或通用 XPath 上下文，而是基于命名空间感知的节点迭代器。当你在 scrapy shell 中直接尝试 response.css("entry") 或 response.xpath("//loc") 时返回空结果，根本原因在于：Shell 中的 response 是原始 XML 文档对象，但默认未启用命名空间解析，且 Atom/RSS 结构中关键元素（如

✅ 正确解析步骤

1. 确认 XML 结构与命名空间

首先，查看目标 Sitemap（https://www.php.cn/link/207750f9f2b1d10599670696bfbcb2d9）源码，可见其为 Atom 格式，包含 Google 商店扩展标签，例如：

  
  
  https://comercialtrevino.com/producto/x

其中

2. 正确配置 XMLFeedSpider

• namespaces 必须是 元组列表（如 [('g', 'http://base.google.com/ns/1.0')]），而非字符串或错误格式（原代码中 ['g', "..."] 是无效的）；
• itertag 指定要遍历的顶层元素（这里是 'entry'）；
• iterator = 'iternodes'（推荐）可确保逐节点解析，避免内存问题；
• 不要在 parse_node 中使用 // 绝对路径（如 node.xpath("//g:link")），应使用相对路径 node.xpath(".//g:link/text()") 或更稳妥的 node.xpath("g:link/text()")（因 g:link 是 entry 的直接子元素）。

3. 完整可运行爬虫示例

items.py

HTTPie AI

AI API开发工具

下载

import scrapy

class TreviSpiderItem(scrapy.Item):
    src = scrapy.Field()

spiders/trevi_spider.py

from scrapy.spiders import XMLFeedSpider
from trevi_spider.items import TreviSpiderItem

class Trevi_Spider(XMLFeedSpider):
    name = 'trevi'
    start_urls = ["https://www.php.cn/link/207750f9f2b1d10599670696bfbcb2d9"]
    iterator = 'iternodes'
    namespaces = [('g', 'http://base.google.com/ns/1.0')]
    itertag = 'entry'

    def parse_node(self, response, node):
        item = TreviSpiderItem()
        # ✅ 正确：使用命名空间前缀 + 相对路径
        link = node.xpath('g:link/text()').get()
        if link:
            item['src'] = link.strip()
            yield item
        else:
            # 回退到 Atom 标准 link（rel="alternate"）
            alt_link = node.xpath('link[@rel="alternate"]/@href').get()
            if alt_link:
                item['src'] = alt_link.strip()
                yield item

4. 运行与调试技巧

• ❌ 避免在 scrapy shell 中模拟 XML 解析：Shell 的 response 不支持 XMLFeedSpider 的命名空间机制，所有 .css() 和 .xpath() 均无法识别带前缀的标签。
• ✅ 调试建议：在 parse_node 中添加日志：

  self.logger.debug(f"Raw entry: {node.get().strip()[:200]}...")

• ✅ 启用详细日志：运行时加 -L DEBUG 查看节点匹配过程：

  scrapy crawl trevi -L DEBUG

⚠️ 注意事项总结

• XMLFeedSpider 不支持 scrapy shell 交互式调试，务必在完整项目中运行；
• 命名空间格式必须为 [('prefix', 'uri')] 元组列表，拼写/括号错误将导致解析失败；
• XPath 中使用命名空间前缀时，必须先在 namespaces 中注册，否则 g:link 会被视为非法语法；
• 若目标 XML 同时含多种命名空间（如 xmlns:atom="..."），需全部注册并按需使用；
• 对于纯标准 的 XML Sitemap（非 Atom/RSS），应改用 SitemapSpider（Scrapy 内置）或自定义 XMLSpider，而非 XMLFeedSpider。

通过以上配置，即可稳定提取 Sitemap 中所有产品 URL，为后续页面抓取提供可靠入口。