使用 Selenium 自动化展开动态下拉菜单并抓取子类别链接

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.common.action_chains import ActionChains
import time # 引入 time 模块，用于添加延时以确保页面元素加载

# 目标网页 URL
URL = "https://albiononline2d.com/en/item"

# 初始化 Chrome 浏览器驱动
driver = webdriver.Chrome()
# 设置隐式等待，在查找元素时等待最多0.5秒
driver.implicitly_wait(0.5)
# 访问目标 URL
driver.get(URL)
# 初始化 ActionChains，用于执行复杂的鼠标操作（本例中可能用不到，但保留作为常用工具）
action = ActionChains(driver)

# 查找所有表示“展开”的图标。根据提供的HTML片段，这些图标通常有特定的CSS选择器。
# 例如，本例中展开图标的CSS选择器是 'span[class="icon expand-icon ion-plus-round"]'
pluses = driver.find_elements(By.CSS_SELECTOR, 'span[class="icon expand-icon ion-plus-round"]')

# 迭代点击所有展开图标
# 注意：在循环内部重新查找元素是关键，因为每次点击后DOM可能发生变化，导致旧的元素引用失效。
for i in range(len(pluses)):
    # 每次循环都重新查找所有展开图标
    # 这里我们只点击第一个（或当前可见的第一个）未展开的图标
    # 实际应用中可能需要更复杂的逻辑来确保点击到所有未展开的图标
    # 例如，如果所有图标都在同一层级，可以简单地点击第一个，直到没有plus图标为止
    # 或者，如果每个点击会展开下一层，则需要更精细的定位

    # 示例网站的特点是，点击一个“+”号会展开其下所有内容，并且“+”号会变成“-”号，
    # 但新的“+”号会出现在展开内容中。因此，每次点击第一个“+”号即可。

    # 重新查找当前页面上所有可点击的“+”图标
    current_pluses = driver.find_elements(By.CSS_SELECTOR, 'span[class="icon expand-icon ion-plus-round"]')

    # 如果没有更多的“+”图标，则说明所有菜单都已展开，退出循环
    if not current_pluses:
        print("所有下拉菜单已展开。")
        break

    try:
        # 点击当前找到的第一个“+”图标
        current_pluses[0].click()
        # 添加短暂延时，确保页面有时间响应点击并加载新内容
        time.sleep(0.5) 
    except Exception as e:
        print(f"点击展开图标时发生错误: {e}")
        break # 发生错误时退出循环

# 定位包含所有项目类别的父容器。根据原问题，这个容器的类名是 'list-group'。
# 通常页面上可能有多个 'list-group'，这里我们假设目标是第一个。
item_categories_container = driver.find_elements(By.CLASS_NAME, 'list-group')[0]

# 查找容器内所有的链接元素
all_links_in_container = item_categories_container.find_elements(By.TAG_NAME, 'a')

# 用于存储筛选后的子类别链接
subcat_links = []

# 遍历所有链接，并根据 URL 结构进行筛选
for link_element in all_links_in_container:
    href = link_element.get_attribute('href')
    # 检查链接的 href 属性是否包含特定子字符串（例如 'subcat'）
    if href and 'subcat' in href:
        subcat_links.append(href)

# 打印或进一步处理提取到的子类别链接
print(f"共找到 {len(subcat_links)} 个子类别链接。")
for link in subcat_links:
    print(link)

# 完成抓取后关闭浏览器
driver.quit()