本文旨在指导读者如何使用Python构建一个商品库存监控机器人，并实时通过Discord发送通知。文章将深入探讨在面对JavaScript动态加载内容的网站时，传统网页抓取工具（如BeautifulSoup）的局限性，并详细介绍如何利用无头浏览器（如Selenium）来模拟用户行为、获取动态数据，最终实现高效、准确的库存监控与通知机制。
1. 理解库存监控的需求与挑战
构建一个自动化的库存监控系统，其核心目标是定期检查特定商品（例如，特定尺码的鞋子）的库存状态，并在库存发生变化（例如，从缺货变为有货）时，通过即时通讯工具（如Discord）发送通知。
最初，开发者可能会尝试使用requests库获取网页内容，并结合BeautifulSoup进行解析。这种方法对于内容直接包含在HTML源代码中的静态网页非常有效。例如，对于一个表示商品库存状态的
import requests
from bs4 import BeautifulSoup
def check_static_stock(url, target_size_title):
try:
response = requests.get(url)
response.raise_for_status() # 检查HTTP请求是否成功
soup = BeautifulSoup(response.text, 'html.parser')
# 尝试查找表示有货的元素，例如：
# 假设有货时，尺码选项的父元素是'selectable'，且尺码选项本身有'swatchanchor'类和包含尺码的title
# 如果网页是静态的，这可能是一个有效的查找方式
available_size_elements = soup.find('li', class_='selectable')
if available_size_elements:
# 进一步查找包含特定尺码的链接
size_40_available = available_size_elements.find_all('a', class_='swatchanchor', title=lambda t: t and target_size_title in t)
return len(size_40_available) > 0
return False
except requests.RequestException as e:
print(f"请求网页时发生错误: {e}")
return False
# 示例：如果网页是静态的，可以这样调用
# url = 'https://www.courir.com/fr/p/ugg-tasman-1499533.html'
# is_in_stock = check_static_stock(url, '40')
# if is_in_stock:
# print("尺码 40 有货！")
# else:
# print("尺码 40 缺货或未找到。")然而，许多现代网站，包括示例中的电商网站，广泛使用JavaScript来动态加载和渲染页面内容。这意味着当您使用requests.get(url)获取页面时，返回的HTML源代码可能不包含所有最终在浏览器中可见的元素。尺码选项、库存状态等关键信息可能是在页面加载完成后，由JavaScript通过AJAX请求获取数据并插入到DOM中的。
立即学习“Python免费学习笔记（深入）”；
在这种情况下，BeautifulSoup只能解析原始的HTML文本，无法执行JavaScript，因此它无法“看到”这些动态生成的内容。这就是传统网页抓取方法面临的主要挑战。
2. 解决方案：利用无头浏览器进行动态网页抓取
为了克服动态内容的挑战，我们需要一个能够模拟真实浏览器行为的工具，即无头浏览器。无头浏览器可以在后台运行，执行JavaScript、加载CSS、处理AJAX请求，并最终呈现出完整的DOM结构，就像一个普通浏览器一样。
Selenium是一个流行的自动化测试工具，它也可以作为强大的无头浏览器抓取工具。
2.1 Selenium环境搭建
-
安装Selenium库：
pip install selenium
-
下载浏览器驱动： Selenium需要一个浏览器驱动来控制实际的浏览器。常用的有ChromeDriver（Google Chrome）、GeckoDriver（Mozilla Firefox）。请根据您系统上安装的浏览器版本下载对应的驱动，并将其放置在系统的PATH环境变量中，或者在代码中指定其路径。
- ChromeDriver下载地址：https://www.php.cn/link/73715c097259c228af0648823d754407
- GeckoDriver下载地址：https://www.php.cn/link/9a1ecce2d381e29ac81279bdae9886bd
2.2 使用Selenium获取动态内容
以下是使用Selenium检查特定尺码库存的示例代码：
from selenium import webdriver
from selenium.webdriver.chrome.service import Service
from selenium.webdriver.common.by import By
from selenium.webdriver.chrome.options import Options
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
import time
def check_dynamic_stock_selenium(url, target_size):
chrome_options = Options()
chrome_options.add_argument("--headless") # 启用无头模式，不显示浏览器界面
chrome_options.add_argument("--disable-gpu") # 禁用GPU硬件加速
chrome_options.add_argument("--no-sandbox") # 禁用沙箱模式，某些Linux环境需要
chrome_options.add_argument("--disable-dev-shm-usage") # 解决在某些Docker容器中内存不足的问题
# 根据您的ChromeDriver路径进行修改
# 例如：service = Service('/path/to/chromedriver')
driver = webdriver.Chrome(options=chrome_options)
try:
driver.get(url)
# 等待页面加载完成，或者等待特定元素出现
# 这里我们等待一个包含尺码选项的父容器出现
WebDriverWait(driver, 10).until(
EC.presence_of_element_located((By.CSS_SELECTOR, 'div.product-attributes__size-selector'))
)
# 查找所有尺码选项，这些选项通常是带有特定类名和title属性的标签
# 假设尺码选项的HTML结构为 ...
# 并且有货时，其父级代码解释：
- chrome_options.add_argument("--headless")：启用无头模式，浏览器将在后台运行，不显示图形界面。这对于服务器环境和提高性能非常有用。
- WebDriverWait 和 expected_conditions：这是Selenium中处理动态加载内容的关键。它允许代码等待某个条件（例如，某个元素出现）满足后才继续执行，避免因元素尚未加载而导致的查找失败。
- driver.find_elements(By.CSS_SELECTOR, 'a.swatchanchor')：使用CSS选择器查找所有匹配的尺码元素。
- element.get_attribute('title')：获取元素的title属性，用于匹配目标尺码。
- element.find_element(By.XPATH, '..')：通过XPath获取当前元素的父元素，以便检查其类名来判断库存状态。
3. 集成Discord通知机制
一旦我们能够准确地获取库存状态，就可以将其与Discord Webhook集成，发送实时通知。这部分可以使用aiohttp异步发送请求，以避免阻塞主程序。
import discord
import aiohttp
import asyncio
from selenium import webdriver
from selenium.webdriver.chrome.service import Service
from selenium.webdriver.common.by import By
from selenium.webdriver.chrome.options import Options
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
import time
# 替换为您的Discord Webhook URL
WEBHOOK_URL = 'YOUR_DISCORD_WEBHOOK_URL_HERE'
async def send_webhook_message(content):
"""
异步发送Discord Webhook消息
"""
async with aiohttp.ClientSession() as session:
try:
async with session.post(WEBHOOK_URL, json={"content": content}) as response:
if response.status == 204:
print("Discord消息发送成功。")
else:
print(f"发送Discord消息失败。状态码: {response.status}, 响应: {await response.text()}")
except aiohttp.ClientError as e:
print(f"发送Discord消息时发生网络错误: {e}")
async def check_stock_and_notify(url, target_size, previous_stock_status):
"""
检查指定尺码的库存，并在状态变化时发送Discord通知。
"""
current_stock_status = check_dynamic_stock_selenium(url, target_size)
# 检查库存状态是否从缺货变为有货
if not previous_stock_status.get(url, {}).get(target_size, False) and current_stock_status:
message = f"? 尺码 {target_size} 的商品已到货！请尽快查看: {url}"
print(message)
await send_webhook_message(message)
elif previous_stock_status.get(url, {}).get(target_size, True) and not current_stock_status:
# 如果之前有货，现在缺货，也可以选择发送通知
message = f"⚠️ 尺码 {target_size} 的商品已缺货: {url}"
print(message)
# await send_webhook_message(message) # 根据需求决定是否通知缺货
# 更新本次库存状态
previous_stock_status.setdefault(url, {})[target_size] = current_stock_status
return previous_stock_status
async def main():
product_to_monitor = [
{'url': 'https://www.courir.com/fr/p/ugg-tasman-1499533.html', 'size': '40'},
# 可以添加更多商品和尺码
# {'url': '另一商品URL', 'size': '另一尺码'},
]
previous_stock_status = {} # 存储上次检查的库存状态
while True:
print("\n开始检查库存...")
for product_info in product_to_monitor:
url = product_info['url']
size = product_info['size']
previous_stock_status = await check_stock_and_notify(url, size, previous_stock_status)
print("所有商品检查完毕。下次检查将在10分钟后。")
await asyncio.sleep(600) # 每10分钟检查一次
if __name__ == "__main__":
# 请确保将 WEBHOOK_URL 替换为您的实际 Discord Webhook URL
# 确保ChromeDriver路径正确配置，或者在check_dynamic_stock_selenium函数中指定
asyncio.run(main())
4. 注意事项与最佳实践
- 网站使用条款和robots.txt： 在进行网页抓取之前，务必查阅目标网站的robots.txt文件（例如 https://www.courir.com/robots.txt）以及其服务条款。遵守网站的规定，避免对网站造成不必要的负担。
- 请求频率与IP封锁： 频繁的请求可能会被网站识别为恶意行为，导致IP地址被封锁。请合理设置检查间隔（例如，10分钟或更长），并考虑使用代理IP池来分散请求。
- 元素定位的稳定性： 网站的HTML结构可能会发生变化，导致您在Selenium中使用的CSS选择器或XPath失效。当脚本不再工作时，需要重新检查页面结构并更新定位器。使用更通用或更稳定的定位方式（如id属性，如果存在）可以提高稳定性。
- 错误处理： 在实际应用中，网络问题、元素未找到等异常情况时有发生。务必在代码中加入健壮的try-except块来处理这些异常，确保程序的稳定运行。
- 资源管理： 每次使用Selenium后，务必调用driver.quit()来关闭浏览器实例及其驱动进程，释放系统资源，防止内存泄漏。
- 异步编程： 对于需要同时监控多个商品或需要长时间运行的机器人，使用asyncio进行异步编程可以提高效率和响应性。
- 日志记录： 记录程序的运行状态、错误信息和库存变化，有助于问题排查和历史数据分析。
总结
通过本文的讲解，我们了解了在面对动态加载内容的现代网站时，传统网页抓取方法的局限性，并掌握了如何利用Selenium无头浏览器来模拟真实用户行为，成功获取并解析这些动态数据。结合Discord Webhook，我们能够构建一个高效、可靠的自动化库存监控与通知系统。在实际应用中，请务必注意遵守网站规定，并采取适当的策略来确保程序的稳定性和可持续性。
