Scrapy CSS选择器技巧：提取未直接包裹在标签中的文本数据-Python教程-PHP中文网

Scrapy CSS选择器技巧：提取未直接包裹在标签中的文本数据

本文深入探讨了如何使用scrapy的css选择器精确提取html中未直接包裹在独立标签内的文本数据，特别是当目标数据以文本节点形式存在时。通过结合`::text`伪元素、`getall()`方法以及正则表达式，我们能够有效定位并清洗出所需数值，克服了传统选择器可能遇到的挑战，确保数据抓取的准确性与鲁棒性。

在进行网页数据抓取时，我们经常会遇到目标数据并非整齐地包裹在独立的HTML标签（如<span>、<p>、<div>）中，而是作为父元素下的一个直接文本节点存在。这种情况下，传统的CSS选择器可能难以直接定位，导致数据提取失败。本文将以一个实际案例为例，详细讲解如何利用Scrapy的CSS选择器，结合::text伪元素和getall()方法，并辅以正则表达式进行数据清洗，从而准确地提取这类数据。

理解问题场景

假设我们有以下HTML片段，目标是提取表示“卧室数量”的数字“1”：

<div class="search-results-listings-list__item-description__item search-results-listings-list__item-description__characteristics">
    <div class="search-results-listings-list__item-description__characteristics__item">
        <!-- SVG图标 -->
        <svg xmlns="http://www.w3.org/2000/svg" viewBox="0 0 46 41" class="search-results-listings-list__item-description__characteristics__icon search-results-listings-list__item-description__characteristics__icon--bedrooms"></svg>
        <div class="search-results-listings-list__item-description__characteristics-popover">Chambres</div>
        1
    </div>
</div>

登录后复制

可以看到，数字“1”直接位于div.search-results-listings-list__item-description__characteristics__item标签内部，但它既不是SVG的一部分，也不是div.popover的一部分，而是一个独立的文本节点。直接使用div::text或div:contains("Chambres")::text等选择器可能无法直接获取到这个数字，或者获取到的是包含其他文本的混杂结果。

Scrapy选择器基础回顾

Scrapy提供了强大的选择器（Selectors）机制，支持CSS和XPath表达式来定位HTML元素。

立即学习“前端免费学习笔记（深入）”；

巧文书

巧文书是一款AI写标书、AI写方案的产品。通过自研的先进AI大模型，精准解析招标文件，智能生成投标内容。

查看详情

response.css('selector')：使用CSS选择器。
response.xpath('xpath_expression')：使用XPath表达式。
.get()：返回匹配到的第一个结果的字符串形式。
.getall()：返回匹配到的所有结果的列表形式。

解决方案：::text与getall()的组合应用

要提取上述HTML中的数字“1”，我们需要采取以下步骤：

定位包含目标文本的父元素： 我们可以通过其类名和内容来定位。div.search-results-listings-list__item-description__characteristics__item是包含目标数字的直接父元素。为了进一步精确，我们可以利用:contains("Chambres")伪类，确保我们选择的是包含“Chambres”（卧室）信息的那个特定div。
提取所有文本节点： 使用::text伪元素可以选取指定元素下的所有直接文本节点，包括那些未被其他标签包裹的文本。
使用getall()获取所有结果： 由于::text会返回父元素下的所有文本节点（包括SVG后的空白、Chambres文本以及目标数字“1”），我们需要使用getall()来获取一个包含所有这些文本的列表。
识别并清洗目标数据： 在获取到的文本列表中，目标数字通常是最后一个非空且有意义的元素。通过列表索引和正则表达式，我们可以精确地提取出数值。

示例代码

import scrapy
import re

# 模拟Scrapy的Selector对象，实际Scrapy项目中会是 response.css()
html_content = """
<html>
<div class="search-results-listings-list__item-description__item search-results-listings-list__item-description__characteristics">
            <div class="search-results-listings-list__item-description__characteristics__item">
            <!--?xml version="1.0"?-->
<svg xmlns="http://www.w3.org/2000/svg" viewBox="0 0 46 41" class="search-results-listings-list__item-description__characteristics__icon search-results-listings-list__item-description__characteristics__icon--bedrooms"><path d="M5.106 0c-.997 0-1.52.904-1.52 1.533v11.965L.074 23.95c-.054.163-.074.38-.074.486V39.2c-.017.814.727 1.554 1.54 1.554.796 0 1.54-.74 1.52-1.554v-3.555h39.88V39.2c-.016.814.724 1.554 1.52 1.554.813 0 1.56-.74 1.54-1.554V24.436c0-.106-.017-.326-.074-.486l-3.512-10.449V1.537c0-.633-.523-1.534-1.52-1.534H5.106V0zm1.54 3.07h32.708v3.663a5.499 5.499 0 0 0-2.553-.614h-9.708c-1.614 0-3.06.687-4.093 1.77a5.648 5.648 0 0 0-4.093-1.77H9.2c-.924 0-1.793.217-2.553.614V3.07zm2.553 6.098h9.708c1.45 0 2.553 1.12 2.553 2.547v.523H6.646v-.523c0-1.426 1.103-2.547 2.553-2.547zm17.894 0H36.8c1.45 0 2.553 1.12 2.553 2.547v.523H24.54v-.523c0-1.426 1.103-2.547 2.553-2.547zm-20.88 6.12H39.79l2.553 7.615H3.656l2.556-7.615zM3.06 25.973h39.88v6.625H3.06v-6.625z"></path></svg>
            <div class="search-results-listings-list__item-description__characteristics-popover">Chambres</div>
            1
        </div>
                </div>
</html>
"""

selector = scrapy.Selector(text=html_content)

# 1. 使用:contains()定位父元素，并用::text获取所有文本节点
bedrooms_info_list = selector.css(
    '.search-results-listings-list__item-description__characteristics__item:contains("Chambres") ::text'
).getall()

print(f"原始文本列表: {bedrooms_info_list}")

# 2. 提取最后一个元素，它通常包含我们需要的数字
# 结果示例: ['\n            ', '\n', 'Chambres', '\n            1\n        ']
# 注意：列表可能包含空白字符串或换行符
raw_bedroom_string = bedrooms_info_list[-1] if bedrooms_info_list else None

print(f"原始卧室数量字符串: '{raw_bedroom_string}'")

# 3. 使用正则表达式提取数字
bedrooms = None
if raw_bedroom_string:
    match = re.search(r'\d+', raw_bedroom_string)
    if match:
        bedrooms = int(match.group())

print(f"提取到的卧室数量: {bedrooms}")

# 完整的提取函数（可在Scrapy Spider中作为辅助方法）
def extract_number(value):
    try:
        if value is None:
            return None
        match = re.search(r'\d+', value)
        return int(match.group()) if match else None
    except (TypeError, ValueError):
        return None

# 在Scrapy Spider中的使用示例
# class MySpider(scrapy.Spider):
#     name = 'my_spider'
#     start_urls = ['http://example.com']
#
#     def parse(self, response):
#         house_listings = response.css('.some-listing-selector') # 假设这里获取到列表项
#         for house_listing in house_listings:
#             bedrooms_info_list = house_listing.css(
#                 '.search-results-listings-list__item-description__characteristics__item:contains("Chambres") ::text'
#             ).getall()
#             raw_bedroom_string = bedrooms_info_list[-1] if bedrooms_info_list else None
#             bedrooms = self.extract_number(raw_bedroom_string)
#             yield {
#                 'bedrooms': bedrooms
#             }
#
#     def extract_number(self, value):
#         try:
#             if value is None:
#                 return None
#             match = re.search(r'\d+', value)
#             return int(match.group()) if match else None
#         except (TypeError, ValueError):
#             return None

登录后复制

输出：

原始文本列表: ['\n            ', '\n', 'Chambres', '\n            1\n        ']
原始卧室数量字符串: '
            1
        '
提取到的卧室数量: 1

登录后复制

注意事项与最佳实践

get()与getall()的区别：
- get()只返回匹配到的第一个结果。在处理::text时，如果第一个文本节点不是你想要的，get()会失败。
- getall()返回所有匹配结果的列表，这对于处理多个文本节点的情况至关重要。
::text的特性： ::text会提取元素内部的所有直接文本节点，包括换行符、空格等。因此，返回的列表可能包含多个看似空白的字符串。
:contains()伪类： 这个伪类非常有用，可以帮助我们进一步缩小选择范围，确保我们选择的是包含特定文本内容的父元素，即使该文本被子元素包裹。
正则表达式的重要性： 提取到的原始字符串往往包含多余的空白字符和换行符。使用re.search(r'\d+', value)可以从字符串中稳健地提取出第一个或所有数字序列。re.search比re.match更灵活，因为它不需要匹配字符串的开头。
健壮性考虑： 在实际项目中，务必对可能出现的None值或空列表进行处理，以防止程序因索引错误或对空值操作而崩溃。例如，在获取bedrooms_info_list[-1]之前检查bedrooms_info_list是否为空。
HTML结构变动： 网页的HTML结构可能会发生变化。定期检查选择器是否仍然有效是数据抓取项目维护的关键。

总结

通过结合Scrapy的CSS选择器、::text伪元素、getall()方法以及Python的正则表达式，我们可以高效且准确地从复杂的HTML结构中提取出未直接包裹在标签内的文本数据。这种方法尤其适用于那些以文本节点形式存在的关键信息，如本例中的卧室数量。掌握这些技巧，将大大提升Scrapy爬虫在面对多样化网页结构时的适应性和健壮性。

以上就是Scrapy CSS选择器技巧：提取未直接包裹在标签中的文本数据的详细内容，更多请关注php中文网其它相关文章！