Python爬虫如何抓取电商产品信息_Python爬虫抓取电商网站商品数据的实战方法-Python教程-PHP中文网

Python爬虫如何抓取电商产品信息_Python爬虫抓取电商网站商品数据的实战方法

看不見的法師

发布： 2025-11-17 19:44:02

原创

985人浏览过

首先分析目标网站结构，使用浏览器开发者工具定位商品信息的HTML标签；接着通过requests库发送带请求头的HTTP请求获取页面内容；然后利用BeautifulSoup解析HTML并提取商品名称、价格、销量等数据；最后进行数据清洗并存储为CSV或数据库。注意遵守robots协议并控制请求频率。

python爬虫如何抓取电商产品信息_python爬虫抓取电商网站商品数据的实战方法

抓取电商产品信息是Python爬虫常见的应用场景之一。通过自动化手段获取商品名称、价格、销量、评价等数据，可用于市场分析、竞品监控或价格比对。实现这一目标需结合网络请求、HTML解析与数据存储技术。以下是具体实战方法。

分析目标网站结构

在编写爬虫前，先手动访问目标电商页面（如京东、天猫商品列表页），使用浏览器开发者工具（F12）查看网页源码结构。重点关注商品信息所在的HTML标签和class或id属性。

例如，某商品标题可能位于：

价格可能在：

立即学习“Python免费学习笔记（深入）”；

确认这些元素的定位方式后，可使用CSS选择器或XPath进行提取。

发送请求并获取页面内容

使用requests库模拟浏览器访问页面。为避免被反爬机制拦截，需设置合理的请求头（User-Agent、Referer等）。

示例代码：

万彩商图

专为电商打造的AI商拍工具，快速生成多样化的高质量商品图和模特图，助力商家节省成本，解决素材生产难、产图速度慢、场地设备拍摄等问题。

查看详情

import requests

headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36',
    'Referer': 'https://www.example-ecommerce.com/'
}

url = 'https://www.example-ecommerce.com/products?keyword=手机支架'
response = requests.get(url, headers=headers)

if response.status_code == 200:
    html = response.text
else:
    print("请求失败，状态码：", response.status_code)

登录后复制

解析HTML提取商品数据

使用BeautifulSoup或lxml解析HTML，提取所需字段。

以BeautifulSoup为例：

from bs4 import BeautifulSoup

soup = BeautifulSoup(html, 'html.parser')
products = soup.find_all('div', class_='product-item')

for item in products:
    title = item.find('div', class_='product-title').get_text(strip=True)
    price = item.find('span', class_='price').get_text(strip=True)
    link = item.find('a')['href']
    
    print(f"商品名：{title}, 价格：{price}, 链接：{link}")

登录后复制

若网站采用JavaScript动态加载数据，可考虑使用Selenium或Playwright驱动浏览器渲染页面后再提取内容。

数据清洗与存储

提取的数据常包含多余符号（如“¥”、“件已售”），需进行清洗：

price_clean = float(price.replace('¥', '').strip())
sales_text = item.find('span', class_='sales').get_text()
sales = int(sales_text.replace('人付款', '')) if '人付款' in sales_text else 0

登录后复制

清洗后的数据可保存为CSV或存入数据库：

import csv

with open('products.csv', 'w', encoding='utf-8', newline='') as f:
    writer = csv.writer(f)
    writer.writerow(['标题', '价格', '销量', '链接'])
    writer.writerow([title, price_clean, sales, link])

登录后复制

基本上就这些。掌握网页分析、请求模拟、数据提取与存储四个环节，就能稳定抓取大多数电商网站的商品信息。注意遵守网站robots协议，控制请求频率，避免对服务器造成压力。

以上就是Python爬虫如何抓取电商产品信息_Python爬虫抓取电商网站商品数据的实战方法的详细内容，更多请关注php中文网其它相关文章！