使用BeautifulSoup从HTML下拉菜单中提取项目名称的实用指南-Python教程-PHP中文网

使用BeautifulSoup从HTML下拉菜单中提取项目名称的实用指南

霞舞

发布： 2025-09-26 15:05:01

原创

937人浏览过

使用BeautifulSoup从HTML下拉菜单中提取项目名称的实用指南

本文详细介绍了如何利用Python的BeautifulSoup库从复杂的HTML下拉菜单中准确提取所需项目名称。通过分析常见的抓取错误，特别是针对多层嵌套的HTML结构，我们演示了如何正确地定位目标元素并提取其文本内容，确保数据抓取的高效性和准确性。

1. 理解目标：HTML下拉菜单的结构

在进行网页抓取时，首先要深入理解目标网页的html结构。一个典型的下拉菜单，如本例中的“knives”菜单，通常由一个父容器（如<div>或<ul>）包裹，其中包含多个子项（如<li>），每个子项又包含链接（<a>）和显示名称。

以下是示例HTML片段的关键结构：

<div class="group inline-block relative w-full lg:w-auto">
    <button ...>Knives</button>
    <ul id="navbar-subitems-Knives" class="custom-scrollbar hidden bg-gray-700 ...">
        <li>
            <a href="https://csgoskins.gg/weapons/bayonet">
                <div class="w-10 h-7 mr-1">
                    <img alt="Bayonet">
                </div>
                Bayonet
            </a>
        </li>
        <li>
            <a href="https://csgoskins.gg/weapons/classic-knife">
                <div class="w-10 h-7 mr-1">
                    <img alt="Classic Knife">
                </div>
                Classic Knife
            </a>
        </li>
        <!-- 更多<li>项 -->
    </ul>
</div>

登录后复制

从上述结构可以看出，我们需要的项目名称（如“Bayonet”、“Classic Knife”）直接作为文本内容存在于每个<li>标签内的<a>标签中，或者更准确地说，是<li>标签本身的直接文本内容（在去除子标签内容后）。

2. 初始抓取尝试的问题分析

在最初的尝试中，常见的错误在于未能正确地定位到包含所需文本的HTML元素。例如，如果尝试使用以下代码：

knives_section = soup.find("ul", {"id": "navbar-subitems-Knives"}).findAll("w-10 h-7 mr-1")

登录后复制

这里存在几个问题：

立即学习“前端免费学习笔记（深入）”；

findAll方法（在BeautifulSoup 4中通常写作find_all）的参数使用不当。"w-10 h-7 mr-1"被当作一个标签名来查找，而不是一个CSS类名列表。如果想查找具有特定类名的元素，应该使用class_参数，并传入一个类名列表，例如 class_=["w-10", "h-7", "mr-1"]。
即使修正了findAll的用法，"w-10 h-7 mr-1"这些类名是属于包含<img>标签的<div>元素的，而我们真正需要的是每个菜单项的文本名称，它位于<a>标签内或<li>标签内。直接查找这些类名将无法获取到文本。

3. 正确的抓取策略与实现

为了准确提取下拉菜单中的项目名称，我们需要遵循以下步骤：

3.1 导入必要的库

首先，导入requests用于发送HTTP请求，以及BeautifulSoup用于解析HTML。

import requests
from bs4 import BeautifulSoup

登录后复制

3.2 发送HTTP请求并获取页面内容

使用requests.get()方法向目标URL发送GET请求，并添加User-Agent头以模拟浏览器行为，避免被网站阻止。

NameGPT名称生成器

免费AI公司名称生成器，AI在线生成企业名称，注册公司名称起名大全。

查看详情

url = 'https://csgoskins.gg/'
headers = {
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/119.0.0.0 Safari/537.36"
}
r = requests.get(url, headers=headers)
r.raise_for_status() # 检查请求是否成功

登录后复制

3.3 使用BeautifulSoup解析HTML

将获取到的页面内容传递给BeautifulSoup对象进行解析。推荐使用lxml解析器，因为它通常更快且更健壮。

soup = BeautifulSoup(r.content, 'lxml')

登录后复制

3.4 定位下拉菜单的父容器

根据HTML结构分析，所有刀具子类型都包含在一个<ul>标签中，该标签具有唯一的id="navbar-subitems-Knives"。我们可以使用find()方法精确地定位到这个父容器。

knives_section = soup.find("ul", {"id": "navbar-subitems-Knives"})

登录后复制

注意事项： find()方法只返回第一个匹配的元素。如果找不到匹配的元素，它将返回None。在实际应用中，应检查knives_section是否为None以避免后续操作报错。

3.5 提取所有项目名称

在获取到knives_section之后，我们需要在其内部查找所有表示单个菜单项的<li>标签。然后，遍历这些<li>标签，并提取它们的文本内容。get_text(strip=True)方法非常有用，它可以提取元素及其所有子元素的文本内容，并去除多余的空白字符。

if knives_section: # 确保找到了父容器
    knife_names = knives_section.find_all("li")
    print("提取到的刀具子类型名称：")
    for knife in knife_names:
        name = knife.get_text(strip=True)
        print(name)
else:
    print("未找到ID为 'navbar-subitems-Knives' 的下拉菜单部分。")

登录后复制

3.6 完整的示例代码

将上述步骤整合，形成一个完整的Python脚本：

import requests
from bs4 import BeautifulSoup

# 目标网页URL
url = 'https://csgoskins.gg/'

# 请求头，模拟浏览器访问
headers = {
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/119.0.0.0 Safari/537.36"
}

try:
    # 发送GET请求并检查响应状态
    r = requests.get(url, headers=headers, timeout=10) # 增加超时设置
    r.raise_for_status() # 如果请求失败（非200状态码），则抛出HTTPError

    # 使用BeautifulSoup解析HTML内容
    soup = BeautifulSoup(r.content, 'lxml')

    # 查找ID为 "navbar-subitems-Knives" 的<ul>元素，这是下拉菜单的父容器
    knives_section = soup.find("ul", {"id": "navbar-subitems-Knives"})

    if knives_section:
        # 在找到的父容器中，查找所有<li>元素，每个<li>代表一个刀具子类型
        knife_items = knives_section.find_all("li")

        print("成功提取的刀具子类型名称：")
        for item in knife_items:
            # 提取每个<li>元素的文本内容，并去除首尾空白字符
            name = item.get_text(strip=True)
            print(name)
    else:
        print("错误：未找到ID为 'navbar-subitems-Knives' 的下拉菜单部分。")

except requests.exceptions.RequestException as e:
    print(f"请求失败：{e}")
except Exception as e:
    print(f"发生未知错误：{e}")

登录后复制