本文针对selenium在处理大量链接时可能出现的跳链和数据丢失问题，提供了一种高效且可靠的替代方案——使用beautiful soup和requests库进行网页抓取。文章详细介绍了beautiful soup的环境搭建、核心api使用以及如何重构selenium代码以实现相同的数据抓取目标，并对比了两种工具的适用场景，旨在帮助开发者优化爬虫性能与稳定性。
在进行大规模网页数据抓取时，开发者常会遇到各种挑战。其中一个常见问题是，即使使用了显式等待机制，基于Selenium的爬虫在遍历大量链接时仍可能出现跳过部分链接、数据未能完全抓取或运行中断的情况。这通常表现为程序在某些链接上停滞数分钟，然后跳过中间部分链接，直接处理后续链接，导致数据不完整。
Selenium是一个强大的浏览器自动化工具，它通过模拟用户行为（如点击、滚动、填写表单）来与网页进行交互，并能处理JavaScript动态加载的内容。然而，其优势也带来了潜在的性能瓶颈和稳定性问题：
对于像示例中这种页面结构相对固定，且主要数据内容在首次加载时即已存在的场景，Selenium的浏览器开销显得不必要。此时，使用更轻量级的HTTP请求库结合HTML解析库会是更高效、更稳定的选择。
针对上述问题，我们可以采用requests库发送HTTP请求获取网页内容，然后使用Beautiful Soup库解析HTML，从而避免浏览器开销，提高抓取效率和稳定性。
优势:
首先，确保你的Python环境中安装了requests和beautifulsoup4库。如果没有，可以通过pip进行安装：
pip install requests beautifulsoup4 pandas
其中pandas用于数据存储和管理，与原问题保持一致。
我们将重构原Selenium代码中的数据抓取逻辑，以适应requests和Beautiful Soup。
原始Selenium抓取逻辑回顾: 对于每个链接，程序会：
Beautiful Soup实现步骤:
import requests
from bs4 import BeautifulSoup
import pandas as pd
import time
# 模拟输入的链接列表
# 实际应用中，df_in['Link'] 会提供这些链接
sample_links = [
"https://www.xpel.com/clearbra-installers/united-states/arizona/tempe",
"https://www.xpel.com/clearbra-installers/united-states/california/los-angeles",
# 添加更多链接以模拟实际场景
]
# 初始化一个空的DataFrame来存储结果
df_out = pd.DataFrame(columns=["Link", "Address", "Name", "P1", "P2", "P3", "P4"])
# 设置请求头，模拟浏览器访问，防止部分网站反爬
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36'
}
# 遍历链接列表
for link in sample_links:
try:
# 1. 发送HTTP请求获取页面内容
response = requests.get(link, headers=headers, timeout=10) # 设置超时
response.raise_for_status() # 检查HTTP请求是否成功
# 2. 使用Beautiful Soup解析HTML
soup = BeautifulSoup(response.text, 'html.parser')
# 3. 查找所有店铺信息
dealership_cells = soup.find_all('div', class_='dealer-list-cell')
if not dealership_cells:
print(f"警告: 链接 {link} 未找到任何店铺信息。")
continue
# 4. 遍历每个店铺，提取所需数据
for cell in dealership_cells:
name_element = cell.find('div', class_='dealer-list-cell-name')
address_element = cell.find('div', class_='dealer-list-cell-address')
product_logos_container = cell.find('div', class_='dealer-list-cell-xpel-logos')
name = name_element.get_text(strip=True) if name_element else "N/A"
address = address_element.get_text(strip=True) if address_element else "N/A"
products_data = ["N/A"] * 4
if product_logos_container:
product_divs = product_logos_container.find_all('div', recursive=False) # 只查找直接子div
for i, p_div in enumerate(product_divs[:4]): # 只取前4个
products_data[i] = p_div.get('class', ['N/A'])[0] # 取第一个类名
# 5. 构建新行数据
new_row = {
"Link": link,
"Address": address,
"Name": name,
"P1": products_data[0],
"P2": products_data[1],
"P3": products_data[2],
"P4": products_data[3]
}
# 6. 将新数据添加到DataFrame
# 避免在循环中频繁使用pd.concat，可以先收集所有行再统一创建DataFrame
df_out = pd.concat([df_out, pd.DataFrame([new_row])], ignore_index=True)
print(f"链接 {link} 的数据已抓取完成。")
except requests.exceptions.RequestException as e:
print(f"请求链接 {link} 失败: {e}")
except Exception as e:
print(f"处理链接 {link} 时发生未知错误: {e}")
# 为了避免对服务器造成过大压力，可以添加短暂的延迟
time.sleep(1) # 每次请求后等待1秒
# 打印最终的DataFrame
print("\n--- 抓取结果 ---")
print(df_out)
# 如果需要，可以将结果保存到CSV文件
# df_out.to_csv("xpel_dealer_data.csv", index=False, encoding='utf-8-sig')代码解析:
何时选择Beautiful Soup/Requests:
何时仍需Selenium:
鲁棒性与错误处理:
当Selenium在处理大量静态或准静态页面时出现跳链、性能瓶颈或数据丢失问题，通常是由于其浏览器自动化特性带来的额外开销和复杂性。在这种情况下，转向使用requests库获取页面内容，结合Beautiful Soup进行HTML解析，能够显著提升爬虫的效率、稳定性和可靠性。这种组合提供了一种轻量级且强大的解决方案，特别适用于需要大规模、快速抓取结构化数据的场景。然而，对于高度动态或需要复杂用户交互的网站，Selenium仍然是不可替代的工具。选择合适的工具，并结合健壮的错误处理和反爬策略，是构建高效稳定爬虫的关键。
以上就是从Selenium跳链问题到高效网页抓取：Beautiful Soup实践指南的详细内容，更多请关注php中文网其它相关文章！
每个人都需要一台速度更快、更稳定的 PC。随着时间的推移，垃圾文件、旧注册表数据和不必要的后台进程会占用资源并降低性能。幸运的是，许多工具可以让 Windows 保持平稳运行。
Copyright 2014-2025 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号
314
收藏
