Selenium Web元素数据提取指南：从列表到具体信息

s = driver.find_elements(By.CLASS_NAME,"market_listing_row")
print(s)

<div class="product-info">
    <span class="product-name">AWP | Safari Mesh (Field-Tested)</span>
    <p class="product-description">这是一把经过实战考验的狙击步枪。</p>
</div>

product_div = driver.find_element(By.CLASS_NAME, "product-info")
print(product_div.text)

AWP | Safari Mesh (Field-Tested)
这是一把经过实战考验的狙击步枪。

<a href="/items/123" id="item-link" class="link-primary">查看详情</a>

link_element = driver.find_element(By.TAG_NAME, "a")
href_value = link_element.get_attribute("href")
id_value = link_element.get_attribute("id")
print(f"链接地址: {href_value}, ID: {id_value}")

链接地址: /items/123, ID: item-link

from selenium import webdriver
from selenium.webdriver.chrome.options import Options as ChromeOptions
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC

# 1. 配置Chrome选项
chrome_options = ChromeOptions()
chrome_options.page_load_strategy = 'normal' # 确保页面完全加载
# 如果您需要加载浏览器扩展（如cs2float.crx），请确保其路径正确且已安装
# chrome_options.add_extension('cs2float.crx')

# 2. 初始化WebDriver
driver = webdriver.Chrome(options=chrome_options)
driver.get('https://steamcommunity.com/market/listings/730/AWP%20%7C%20Safari%20Mesh%20%28Field-Tested%29?filter=')

# 3. 等待页面元素加载
# 显式等待是一个好习惯，确保目标元素在尝试查找之前已经出现在DOM中
try:
    WebDriverWait(driver, 20).until(
        EC.presence_of_element_located((By.CLASS_NAME, "market_listing_row"))
    )
    print("页面元素加载成功。")
except Exception as e:
    print(f"等待元素失败: {e}")
    driver.quit()
    exit()

# 4. 获取所有商品行元素
listing_rows = driver.find_elements(By.CLASS_NAME, "market_listing_row")
print(f"找到 {len(listing_rows)} 个商品行。")

extracted_data = []
# 5. 遍历每个商品行，提取所需信息
for row_element in listing_rows:
    try:
        # 获取商品名称：通常在 market_listing_item_name 类中
        item_name_element = row_element.find_element(By.CLASS_NAME, "market_listing_item_name")
        item_name = item_name_element.text.strip() if item_name_element else "N/A"

        # 获取价格：通常在 market_listing_price 类中
        price_element = row_element.find_element(By.CLASS_NAME, "market_listing_price")
        price = price_element.text.strip() if price_element else "N/A"

        # 获取浮动值：
        # 浮动值通常由浏览器扩展（如CSFloat）注入。
        # 它可能存在于一个特定的子元素的文本中，或者作为父元素或子元素的某个data-*属性。
        # 您需要检查页面HTML结构来确定准确的定位器。
        # 以下是两种常见的示例定位方式：
        float_value = "N/A"
        try:
            # 尝试从带有特定class的子元素中获取文本
            # 例如，如果扩展将浮动值放在一个 class="csfloat_float_value" 的span中
            float_element = row_element.find_element(By.CLASS_NAME, "csfloat_float_value")
            float_value = float_element.text.strip()
        except:
            # 如果不是文本，尝试从data属性中获取
            # 例如，如果浮动值存储在 data-float 属性中
            float_value_attr = row_element.get_attribute("data-float")
            if float_value_attr:
                float_value = float_value_attr
            # 如果以上两种都找不到，float_value 仍为 "N/A"

        extracted_data.append({
            "名称": item_name,
            "价格": price,
            "浮动值": float_value
        })

    except Exception as e:
        # 捕获处理单个行时可能出现的错误，避免程序中断
        print(f"处理单个商品行时出错: {e}")
        # print(f"当前行HTML: {row_element.get_attribute('outerHTML')}") # 调试时可打印行HTML

# 6. 打印提取到的数据
print("\n--- 提取到的商品数据 ---")
for data in extracted_data:
    print(f"名称: {data['名称']}, 价格: {data['价格']}, 浮动值: {data['浮动值']}")

# 7. 关闭浏览器
driver.quit()