本文详解 selenium 在网页爬虫中无法定位可见元素的典型问题，涵盖 xpath 语法更新、元素类名校验、显式等待替代强制休眠等关键修复策略，并提供可直接运行的现代 selenium 4+ 实战代码。
在使用 Selenium 进行网页自动化或数据采集时，一个高频痛点是：元素明明在浏览器中肉眼可见，但 find_element 却始终返回空列表或抛出 NoSuchElementException。你提供的案例正是典型代表——find_elements_by_xpath()（已弃用）未能匹配到 .entryNorm 容器，且子元素定位路径 .//a[@class="entryNorm9"] 实际并不存在（页面中对应结构实为
），导致脚本中断。
✅ 根本原因分析
- 过时的 API 调用：find_element_by_xpath() 等 find_element_by_* 方法自 Selenium 4.0 起已被完全移除，必须改用 driver.find_element(By.XPATH, "...")；
-
HTML 结构误判：通过浏览器开发者工具（F12）检查目标页面可确认：标题、描述和链接分别位于 、（同级重复类名，需结合上下文）及内，而非 标签；
- 同步时机不当：time.sleep(5) 属于“盲目等待”，无法保证 DOM 渲染完成；更可靠的方式是使用 WebDriverWait + expected_conditions；
- 缺少异常处理与容错：原代码中 try 块未配 except，语法错误；实际生产环境中应捕获 NoSuchElementException 并记录/跳过异常项。
✅ 推荐修复后的完整代码（Selenium 4.15+）
from selenium import webdriver from selenium.webdriver.chrome.service import Service from selenium.webdriver.chrome.options import Options from selenium.webdriver.common.by import By from selenium.webdriver.support.ui import WebDriverWait from selenium.webdriver.support import expected_conditions as EC from webdriver_manager.chrome import ChromeDriverManager import time # 配置 Chrome 选项（可选无头模式） options = Options() # options.add_argument("--headless") # 启用后不显示浏览器窗口 driver = webdriver.Chrome( service=Service(ChromeDriverManager().install()), options=options ) wait = WebDriverWait(driver, 10) # 最长等待10秒 try: for page in range(1, 5): url = f"https://www.jasminedirectory.com/business-marketing/page,{page}.html" driver.get(url) print(f"正在处理: {url}") # 显式等待主容器加载完成（比 time.sleep() 更精准可靠） wait.until(EC.presence_of_element_located((By.XPATH, '//div[@class="entryNorm"]'))) # 定位所有条目容器 articles = driver.find_elements(By.XPATH, '//div[@class="entryNorm"]') print(f"第 {page} 页共找到 {len(articles)} 个条目") for i, article in enumerate(articles, 1): try: # 使用相对XPath精确定位子元素（注意：是 div，不是 a！） title_elem = article.find_element(By.XPATH, './/div[@class="entryNorm9"]') desc_elem = article.find_element(By.XPATH, './/div[@class="entryNorm9"][2]') # 第二个同名div link_elem = article.find_element(By.XPATH, './/div[@class="lnkurl"]') title = title_elem.text.strip() description = desc_elem.text.strip() link_text = link_elem.text.strip() print(f" [{i}] 标题: {title[:50]}... | 链接文本: {link_text}") except Exception as e: print(f" ⚠️ 第 {i} 个条目解析失败: {type(e).__name__}") continue finally: driver.quit() # 确保浏览器进程被释放? 关键改进说明
- ✅ 语法现代化：全面采用 By.XPATH + find_element(s) 新标准 API；
- ✅ 结构真实性验证：务必通过 DevTools 检查真实 HTML，避免凭经验写错标签或类名；
- ✅ 智能等待机制：WebDriverWait 会轮询 DOM 直至目标元素出现，避免因网络波动或渲染延迟导致的定位失败；
- ✅ 健壮性增强：每个子元素查找均包裹 try/except，单条数据异常不影响整体流程；
- ✅ 资源安全释放：driver.quit() 确保关闭浏览器实例，防止后台进程残留。
? 小贴士：若页面含 iframe 或动态加载内容（如滚动触底加载），还需额外切换上下文（driver.switch_to.frame()）或模拟滚动（driver.execute_script("window.scrollTo(0, document.body.scrollHeight);")）后再等待。
掌握这些原则，你将大幅降低 Selenium “找不到元素”的挫败感，并构建出稳定、可维护的网页自动化脚本。
