爬虫要写得稳而非写得快，核心是减少对固定路径的依赖，多用语义选择器、相对关系、API替代渲染、多级fallback、轻量校验和快照比对。
网页结构一变，爬虫就报错？关键不是写得快，而是写得稳。核心思路是：少依赖固定路径，多用语义和容错逻辑。
用语义选择器代替绝对XPath
硬编码类似 //div[3]/ul/li[2]/a 的XPath，页面微调就失效。改用能表达“意图”的选择方式：
- 优先用 class、id、data-* 属性等有业务含义的标识，例如
soup.select("article.product-card a.price") - 用相对关系代替层级计数，比如找“标题旁的发布时间”，写成
title_element.find_next_sibling("time")而非parent.find_all("span")[4] - 对动态渲染内容（如 React/Vue），先确认是否真需 Selenium；多数情况用 API 抓取更稳（查 Network 面板找真实数据接口）
设置多级 fallback 解析逻辑
一个字段可能有多种存在形式，别只试一种路径：
- 先尝试主选择器，失败则降级到备选（如 class 名变更、标签从
h2换成h3） - 用函数封装提取逻辑，内部按优先级尝试多个 selector：避免重复写 try/except 块
- 示例：获取商品价格可同时检查
.price、[data-testid="price"]、meta[itemprop="price"]
加轻量校验，早发现结构异常
不等出错才报警，主动判断关键结构是否存在：
立即学习“Python免费学习笔记（深入）”；
- 加载完 HTML 后，先检查是否有
body或主体容器（如#main-content），没有就直接跳过或记录告警 - 对关键字段（如标题、价格），提取后做基础校验：非空、符合预期格式（正则匹配数字/日期）、长度合理
- 把校验结果记入日志，带 URL 和时间戳——结构变化时，日志就是第一线索
定期快照比对，提前感知变化
人工盯更新不现实，自动化才是关键：
- 每周用脚本抓取几个典型页面，保存 HTML 快照 + 关键字段值，存入本地或简单数据库
- 对比新旧快照中 select 结果数量、常见 class 是否消失、关键文本是否为空，生成差异报告
- 结合 GitHub Actions 或 cron，让比对自动跑，异常时邮件通知你
稳定不是靠一次写对，而是把变化当成常态来设计。每次解析都留退路，每次上线都留痕迹，爬虫才能活得久。
