使用Selenium自动化展开所有动态下拉菜单并抓取子类别链接

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
import time # 仅用于演示，实际项目中推荐使用显式等待

# 目标网页URL
URL = "https://albiononline2d.com/en/item"

# 初始化Chrome WebDriver
driver = webdriver.Chrome()
# 设置隐式等待，在查找元素时，如果元素未立即出现，WebDriver会等待指定时间
driver.implicitly_wait(5)
# 访问目标URL
driver.get(URL)
# 初始化ActionChains，用于执行更复杂的交互，如鼠标悬停
action = webdriver.ActionChains(driver)

# 循环点击所有“展开”图标
# 注意：这里使用了一个循环，每次都重新查找所有可展开的图标，
# 并点击第一个找到的图标。这是因为点击一个图标可能会改变页面DOM，
# 使得之前的元素列表失效，或者新的可展开图标会出现在列表的起始位置。
# 这种策略确保我们总是点击当前可用的、尚未展开的第一个图标。
try:
    # 使用显式等待，直到至少有一个展开图标出现
    WebDriverWait(driver, 10).until(
        EC.presence_of_element_located((By.CSS_SELECTOR, 'span[class="icon expand-icon ion-plus-round"]'))
    )

    # 持续查找并点击，直到没有可点击的展开图标为止
    while True:
        # 重新查找所有可展开的图标
        pluses = driver.find_elements(By.CSS_SELECTOR, 'span[class="icon expand-icon ion-plus-round"]')
        if not pluses:
            # 如果没有找到任何展开图标，说明所有菜单已展开
            print("所有下拉菜单已展开。")
            break

        # 点击第一个找到的展开图标
        # 使用try-except来处理可能出现的元素不可交互的情况
        try:
            pluses[0].click()
            # 短暂等待，确保页面有时间响应点击并更新DOM
            time.sleep(0.5) 
        except Exception as e:
            print(f"点击展开图标时发生错误: {e}")
            # 如果无法点击第一个，尝试移除它并继续，或者跳出循环
            break 
except Exception as e:
    print(f"初始化查找展开图标时发生错误: {e}")

# 定位包含所有类别和子类别的父容器
# 假设只有一个主要的 list-group
item_categories_container = driver.find_elements(By.CLASS_NAME, 'list-group')[0]

# 查找容器内所有的<a>标签（链接）
all_links = item_categories_container.find_elements(By.TAG_NAME, 'a')

# 过滤出所有子类别链接
subcat_links = []
for link_element in all_links:
    href = link_element.get_attribute('href')
    if href and 'subcat' in href: # 检查href是否存在且包含'subcat'
        subcat_links.append(href)

# 打印或处理提取到的子类别链接
print("\n提取到的子类别链接:")
for link in subcat_links:
    print(link)

# 完成操作后关闭浏览器
driver.quit()

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
import time

URL = "https://albiononline2d.com/en/item"

driver = webdriver.Chrome()
driver.implicitly_wait(5) # 设置隐式等待
driver.get(URL)

print("正在尝试展开所有下拉菜单...")

try:
    # 使用显式等待，直到至少有一个展开图标出现
    WebDriverWait(driver, 10).until(
        EC.presence_of_element_located((By.CSS_SELECTOR, 'span[class="icon expand-icon ion-plus-round"]'))
    )

    while True:
        pluses = driver.find_elements(By.CSS_SELECTOR, 'span[class="icon expand-icon ion-plus-round"]')
        if not pluses:
            print("所有下拉菜单已展开。")
            break

        try:
            # 点击第一个可展开的图标
            pluses[0].click()
            time.sleep(0.5) # 短暂等待页面更新
        except Exception as e:
            print(f"点击展开图标时发生错误或无更多可点击图标: {e}")
            break # 出现错误或无法点击时退出循环

except Exception as e:
    print(f"初始化查找展开图标时发生错误: {e}")

print("开始提取子类别链接...")

subcat_links = []
try:
    # 再次使用显式等待，确保主类别列表加载完成
    item_categories_container = WebDriverWait(driver, 10).until(
        EC.presence_of_element_located((By.CLASS_NAME, 'list-group'))
    )

    all_links = item_categories_container.find_elements(By.TAG_NAME, 'a')

    for link_element in all_links:
        href = link_element.get_attribute('href')
        if href and 'subcat' in href:
            subcat_links.append(href)

    print("\n提取到的子类别链接:")
    for link in subcat_links:
        print(link)

except Exception as e:
    print(f"提取链接时发生错误: {e}")

finally:
    driver.quit() # 确保最后关闭浏览器