使用 Scrapy 提取未被 <div> 包裹的 HTML 数据-Python教程-PHP中文网

使用 Scrapy 提取未被 <div> 包裹的 HTML 数据

DDD

发布： 2025-10-13 09:04:01

原创

992人浏览过

使用 scrapy 提取未被 <div> 包裹的 <a style= html 数据" /> 包裹的 html 数据" />

本文档旨在指导您如何使用 Scrapy 提取特定 HTML 结构中的数据，特别是当目标数据没有被清晰的 `

` 标签包裹时。我们将通过一个实际案例，演示如何使用 CSS 选择器结合 `getall()` 方法，从复杂的 HTML 结构中准确提取所需信息，并进行数据清洗和转换。

理解问题与解决方案

在网页抓取过程中，我们经常会遇到需要提取的数据并非直接位于一个易于定位的 <div> 标签内的情况。例如，数据可能散布在多个标签之间，或者位于特定文本的旁边。Scrapy 提供了强大的 CSS 选择器和 XPath 选择器，可以帮助我们精确定位这些数据。

本教程将重点介绍如何使用 CSS 选择器，结合 :contains() 伪类和 getall() 方法，来解决这类问题。getall() 方法返回一个包含所有匹配元素的列表，这对于处理包含多个结果的查询非常有用。

示例：提取房屋卧室数量

假设我们需要从以下 HTML 片段中提取卧室数量（即 "1"）：

立即学习“前端免费学习笔记（深入）”；

SpeakingPass-打造你的专属雅思口语语料

使用chatGPT帮你快速备考雅思口语，提升分数

查看详情

<div class="search-results-listings-list__item-description__item search-results-listings-list__item-description__characteristics">
    <div class="search-results-listings-list__item-description__characteristics__item">
        <!--?xml version="1.0"?-->
        <svg xmlns="http://www.w3.org/2000/svg" viewBox="0 0 46 41" class="search-results-listings-list__item-description__characteristics__icon search-results-listings-list__item-description__characteristics__icon--bedrooms"><path d="M5.106 0c-.997 0-1.52.904-1.52 1.533v11.965L.074 23.95c-.054.163-.074.38-.074.486V39.2c-.017.814.727 1.554 1.54 1.554.796 0 1.54-.74 1.52-1.554v-3.555h39.88V39.2c-.016.814.724 1.554 1.52 1.554.813 0 1.56-.74 1.54-1.554V24.436c0-.106-.017-.326-.074-.486l-3.512-10.449V1.537c0-.633-.523-1.534-1.52-1.534H5.106V0zm1.54 3.07h32.708v3.663a5.499 5.499 0 0 0-2.553-.614h-9.708c-1.614 0-3.06.687-4.093 1.77a5.648 5.648 0 0 0-4.093-1.77H9.2c-.924 0-1.793.217-2.553.614V3.07zm2.553 6.098h9.708c1.45 0 2.553 1.12 2.553 2.547v.523H6.646v-.523c0-1.426 1.103-2.547 2.553-2.547zm17.894 0H36.8c1.45 0 2.553 1.12 2.553 2.547v.523H24.54v-.523c0-1.426 1.103-2.547 2.553-2.547zm-20.88 6.12H39.79l2.553 7.615H3.656l2.556-7.615zM3.06 25.973h39.88v6.625H3.06v-6.625z"></path></svg>
        <div class="search-results-listings-list__item-description__characteristics-popover">Chambres</div>
        1
    </div>
</div>

登录后复制

Scrapy 代码:

import scrapy
import re

class MySpider(scrapy.Spider):
    name = "my_spider"
    start_urls = ["http://example.com"] # 替换成你实际的起始 URL

    def parse(self, response):
        # 假设 house_listing 是包含上述 HTML 片段的 Selector 对象
        house_listing = response.css('.search-results-listings-list__item-description__item.search-results-listings-list__item-description__characteristics')

        bedrooms_info = house_listing.css('.search-results-listings-list__item-description__characteristics__item:contains("Chambres") ::text').getall()
        # bedrooms_info 现在是一个列表，包含所有匹配的文本内容
        # 提取列表中的最后一个元素，通常是卧室数量
        bedrooms = bedrooms_info[-1]

        # 使用正则表达式提取数字
        match = re.search(r'\d+', bedrooms)
        if match:
            bedroom_count = int(match.group())
            yield {
                'bedrooms': bedroom_count
            }
        else:
            yield {
                'bedrooms': None  # 或者其他默认值
            }

登录后复制

代码解释:

house_listing = response.css('.search-results-listings-list__item-description__item.search-results-listings-list__item-description__characteristics'): 首先，使用 CSS 选择器定位到包含卧室信息的父 <div> 元素。
.search-results-listings-list__item-description__characteristics__item:contains("Chambres") ::text: 这个 CSS 选择器做了以下事情：
- .search-results-listings-list__item-description__characteristics__item: 选择所有具有该类的元素。
- :contains("Chambres"): 筛选出包含 "Chambres" 文本的元素。
- ::text: 提取匹配元素的文本内容。
bedrooms_info = ... .getall(): 使用 getall() 方法获取所有匹配的文本内容，返回一个列表。
bedrooms = bedrooms_info[-1]: 由于卧室数量通常是列表中的最后一个元素，因此使用 [-1] 索引获取它。
re.search(r'\d+', bedrooms): 使用正则表达式提取文本中的数字。
数据清洗: 提取的文本可能包含额外的空白字符，可以使用 .strip() 方法去除。
数据转换: 将提取的字符串转换为整数类型。

注意事项

HTML 结构稳定性: 网页的 HTML 结构可能会发生变化，因此需要定期检查和更新 CSS 选择器。
错误处理: 在提取数据时，应考虑可能出现的错误情况，例如目标元素不存在或文本内容格式不正确。
Robots.txt: 遵守网站的 robots.txt 协议，避免过度抓取。
动态加载: 如果网站使用 JavaScript 动态加载内容，可能需要使用 Scrapy 与 Selenium 或其他工具结合，模拟浏览器行为。

总结

本教程介绍了如何使用 Scrapy 提取未被 <div> 包裹的 HTML 数据。通过结合 CSS 选择器、:contains() 伪类和 getall() 方法，可以灵活地定位和提取复杂 HTML 结构中的目标数据。同时，需要注意 HTML 结构的稳定性、错误处理和网站的 robots.txt 协议。希望本教程能帮助您更好地使用 Scrapy 进行网页抓取。

以上就是使用 Scrapy 提取未被 <div> 包裹的 HTML 数据的详细内容，更多请关注php中文网其它相关文章！