首先分析目标网站结构，使用浏览器开发者工具定位商品信息的HTML标签；接着通过requests库发送带请求头的HTTP请求获取页面内容；然后利用BeautifulSoup解析HTML并提取商品名称、价格、销量等数据；最后进行数据清洗并存储为CSV或数据库。注意遵守robots协议并控制请求频率。
抓取电商产品信息是Python爬虫常见的应用场景之一。通过自动化手段获取商品名称、价格、销量、评价等数据，可用于市场分析、竞品监控或价格比对。实现这一目标需结合网络请求、HTML解析与数据存储技术。以下是具体实战方法。
分析目标网站结构
在编写爬虫前，先手动访问目标电商页面（如京东、天猫商品列表页），使用浏览器开发者工具（F12）查看网页源码结构。重点关注商品信息所在的HTML标签和class或id属性。
例如，某商品标题可能位于：
手机支架
价格可能在：
立即学习“Python免费学习笔记（深入）”；
¥29.9确认这些元素的定位方式后，可使用CSS选择器或XPath进行提取。
发送请求并获取页面内容
使用requests库模拟浏览器访问页面。为避免被反爬机制拦截，需设置合理的请求头（User-Agent、Referer等）。
示例代码：
import requests
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36',
'Referer': 'https://www.example-ecommerce.com/'
}
url = 'https://www.example-ecommerce.com/products?keyword=手机支架'
response = requests.get(url, headers=headers)
if response.status_code == 200:
html = response.text
else:
print("请求失败，状态码：", response.status_code)
解析HTML提取商品数据
使用BeautifulSoup或lxml解析HTML，提取所需字段。
以BeautifulSoup为例：
from bs4 import BeautifulSoup
soup = BeautifulSoup(html, 'html.parser')
products = soup.find_all('div', class_='product-item')
for item in products:
title = item.find('div', class_='product-title').get_text(strip=True)
price = item.find('span', class_='price').get_text(strip=True)
link = item.find('a')['href']
print(f"商品名：{title}, 价格：{price}, 链接：{link}")
若网站采用JavaScript动态加载数据，可考虑使用Selenium或Playwright驱动浏览器渲染页面后再提取内容。
数据清洗与存储
提取的数据常包含多余符号（如“¥”、“件已售”），需进行清洗：
price_clean = float(price.replace('¥', '').strip())
sales_text = item.find('span', class_='sales').get_text()
sales = int(sales_text.replace('人付款', '')) if '人付款' in sales_text else 0
清洗后的数据可保存为CSV或存入数据库：
import csv
with open('products.csv', 'w', encoding='utf-8', newline='') as f:
writer = csv.writer(f)
writer.writerow(['标题', '价格', '销量', '链接'])
writer.writerow([title, price_clean, sales, link])
基本上就这些。掌握网页分析、请求模拟、数据提取与存储四个环节，就能稳定抓取大多数电商网站的商品信息。注意遵守网站robots协议，控制请求频率，避免对服务器造成压力。
