本文详解 selenium 在网页爬虫中无法定位可见元素的典型问题，包括 xpath 表达式错误、过时 api 调用、页面加载时机不当等，并提供兼容最新 selenium 4+ 的标准化解决方案。
在使用 Selenium 进行网页自动化或数据采集时，一个高频痛点是：元素明明在浏览器中清晰可见，find_element 却始终抛出 NoSuchElementException 或返回空列表。上述案例正是典型代表——代码试图通过 //a[@class="entryNorm9"] 提取标题链接，但实际 HTML 结构中该 class 并不属于 标签，而是作用于 以下是经过验证的修复方案与最佳实践： XPath 不匹配真实 HTML：原始代码误认为 存在，但审查页面源码可知，.entryNorm9 是包裹标题文本的 API 已废弃：find_element_by_xpath() 等 by_* 方法在 Selenium 4+ 中被移除，必须改用 find_element(By.XPATH, "...") 形式（需导入 By）。 立即学习“Python免费学习笔记（深入）”； 隐式等待 ≠ 元素就绪：time.sleep(5) 是临时方案，易受网络波动影响。推荐使用显式等待： 未处理异常导致中断：原代码中 try 块缺少 except，一旦某个元素解析失败将终止整个循环。生产代码应为每个子元素查找添加独立异常捕获。 遵循以上原则，90% 的“元素可见却找不到”问题均可迎刃而解。 相关文章 FastAPI与HTMX集成：精确解析JSON响应并局部更新HTML内容 python 怎么调用js 在Qt QML应用中利用Python字典动态更新TextEdit控件内容 利用AJAX将JavaScript游戏分数集成至Django模型：一份实践指南 从HTML页面直接运行Python脚本：原理、限制与替代方案 相关标签: 本站声明：本文内容由网友自发贡献，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系admin@php.cn 热门AI工具✅ 正确做法：使用现代 API + 精准结构匹配
from selenium import webdriver
from selenium.webdriver.chrome.service import Service
from webdriver_manager.chrome import ChromeDriverManager
from selenium.webdriver.common.by import By
from selenium.webdriver.chrome.options import Options
import time
options = Options()
# options.add_argument("--headless") # 如需无头模式，取消注释
options.add_argument("--no-sandbox")
options.add_argument("--disable-dev-shm-usage")
driver = webdriver.Chrome(
service=Service(ChromeDriverManager().install()),
options=options
)
for page in range(1, 5):
url = f"https://www.jasminedirectory.com/business-marketing/page,{page}.html"
driver.get(url)
print(f"访问: {driver.current_url}")
# ⚠️ 关键修正1：等待页面内容加载完成（非仅 DOM 就绪）
time.sleep(5) # 简单等待 → 生产环境建议改用 WebDriverWait
# ⚠️ 关键修正2：使用 By.XPATH + find_elements()（注意复数形式）
articles = driver.find_elements(By.XPATH, '//div[@class="entryNorm"]')
print(f"第 {page} 页找到 {len(articles)} 个 entryNorm 区块")
for idx, article in enumerate(articles):
try:
# ⚠️ 关键修正3：XPath 必须严格匹配真实 DOM 结构
# 实际页面中标题位于 ? 根本原因分析与避坑提醒
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
wait = WebDriverWait(driver, 10)
wait.until(EC.presence_of_all_elements_located((By.XPATH, '//div[@class="entryNorm"]')))
✅ 总结建议
