使用Selenium自动化处理动态下拉菜单与数据提取教程

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
import time # 用于演示，实际项目中建议使用显式等待

# 定义目标URL
URL = "https://albiononline2d.com/en/item"

# 初始化Chrome WebDriver
driver = webdriver.Chrome()
# 设置隐式等待，在查找元素时，如果元素未立即可用，WebDriver会等待指定的时间
driver.implicitly_wait(5) # 建议设置一个合理的等待时间
driver.get(URL)

# 初始化ActionChains，用于执行复杂的鼠标操作，本例中暂未使用，但可保留备用
# action = webdriver.ActionChains(driver)

# 查找所有带有“展开”图标的元素
# 这些图标通常有一个特定的CSS类，例如 'icon expand-icon ion-plus-round'
# 使用CSS选择器定位这些元素
expand_icons = driver.find_elements(By.CSS_SELECTOR, 'span[class="icon expand-icon ion-plus-round"]')

# 循环点击所有展开图标
# 注意：由于点击操作可能改变DOM，导致元素列表失效，
# 我们需要在每次点击前重新查找元素。
while True:
    # 重新查找所有展开图标
    current_expand_icons = driver.find_elements(By.CSS_SELECTOR, 'span[class="icon expand-icon ion-plus-round"]')

    # 如果没有找到任何展开图标，说明所有菜单都已展开，跳出循环
    if not current_expand_icons:
        break

    try:
        # 点击第一个找到的展开图标
        # 注意：这里我们总是点击列表中的第一个，因为每次循环都会重新查找
        # 这样可以确保我们总是在处理当前页面上可见的、未展开的菜单
        current_expand_icons[0].click()
        # 每次点击后短暂等待，确保DOM更新完成
        time.sleep(0.5) 
    except Exception as e:
        # 捕获可能的异常，例如元素变得不可点击
        print(f"点击展开图标时发生错误: {e}")
        break # 发生错误时退出循环

# 定位包含所有分类链接的父容器
# 假设所有分类（包括主分类和子分类）都在第一个 'list-group' 元素内
item_categories_container = driver.find_elements(By.CLASS_NAME, 'list-group')[0]

# 查找容器内所有的 'a' 标签（链接）
all_links = item_categories_container.find_elements(By.TAG_NAME, 'a')

# 过滤出子分类链接
subcat_links = []
for link_element in all_links:
    href = link_element.get_attribute('href')
    if href and 'subcat' in href: # 检查href是否存在且包含 'subcat' 字符串
        subcat_links.append(href)

# 打印或处理收集到的子分类链接
print("已收集到的子分类链接数量:", len(subcat_links))
for link in subcat_links:
    print(link)

# 关闭浏览器
driver.quit()

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
import time

# 定义目标URL
URL = "https://albiononline2d.com/en/item"

# 初始化Chrome WebDriver
driver = webdriver.Chrome()
driver.implicitly_wait(5) # 设置隐式等待
driver.get(URL)

print("页面加载完成，开始展开下拉菜单...")

# 循环点击所有展开图标
while True:
    # 重新查找所有展开图标，确保处理动态DOM变化
    current_expand_icons = driver.find_elements(By.CSS_SELECTOR, 'span[class="icon expand-icon ion-plus-round"]')

    # 如果没有找到任何展开图标，说明所有菜单都已展开，跳出循环
    if not current_expand_icons:
        print("所有下拉菜单已展开。")
        break

    try:
        # 点击第一个找到的展开图标
        current_expand_icons[0].click()
        # 每次点击后短暂等待，确保DOM更新完成
        time.sleep(0.5) 
    except Exception as e:
        print(f"点击展开图标时发生错误: {e}")
        break # 发生错误时退出循环

print("开始提取子分类链接...")

# 定位包含所有分类链接的父容器
# 使用WebDriverWait进行显式等待，确保元素可见
try:
    item_categories_container = WebDriverWait(driver, 10).until(
        EC.presence_of_element_located((By.CLASS_NAME, 'list-group'))
    )
    # 由于页面可能有多个list-group，我们取第一个作为主分类容器
    item_categories_container = driver.find_elements(By.CLASS_NAME, 'list-group')[0]
except Exception as e:
    print(f"无法找到主分类容器: {e}")
    driver.quit()
    exit()

# 查找容器内所有的 'a' 标签（链接）
all_links = item_categories_container.find_elements(By.TAG_NAME, 'a')

# 过滤出子分类链接
subcat_links = []
for link_element in all_links:
    href = link_element.get_attribute('href')
    if href and 'subcat' in href: # 检查href是否存在且包含 'subcat' 字符串
        subcat_links.append(href)

print("\n--- 收集到的子分类链接 ---")
print(f"总共收集到 {len(subcat_links)} 个子分类链接。")
for link in subcat_links:
    print(link)

# 关闭浏览器
driver.quit()
print("\n浏览器已关闭。")