精准文本提取：利用CSS选择器与:not()在Scrapy中排除子元素文本

理解问题：精准文本抓取的挑战

在网页抓取任务中，我们经常会遇到需要从一个HTML元素中提取其直接文本内容，但又必须忽略其内部子元素所包含的文本的情况。例如，考虑以下HTML结构：

<div class="classA classB classC">
  <div class="classD classE">
    <h1 class="classF classD">Text I don't want</h1>
    <ul>....</ul> <!-- 包含更多嵌套文本，不需要 -->
  </div>
  Text I want to grab.  <!-- 目标文本 -->
  <br>
  More text I want to grab <!-- 目标文本 -->
</div>

我们的目标是仅提取 ["Text I want to grab.", "More text I want to grab"]，而 Text I don't want 应该被完全忽略。

初学者常犯的错误是使用类似 response.css('.classA *::text').getall() 这样的选择器。*::text 会匹配所有后代元素的文本节点，导致 Text I don't want 也被抓取。如果尝试使用 :not(.classD) 排除包含 h1 的 div，例如 response.css('.classA:not(.classD) *::text').getall()，这仍然可能无法达到预期，因为 *::text 会捕获所有子孙文本，而 :not(.classD) 作用于 .classA 本身。

核心解决方案：CSS选择器与:not()的组合

Scrapy（底层使用cssselect库）的CSS选择器提供了一种强大且灵活的方式来解决此类问题。关键在于理解::text伪元素与:not()伪类的组合行为。

立即学习“前端免费学习笔记（深入）”；

1. ::text 伪元素：在Scrapy中，当::text直接跟随一个元素选择器时（例如 div::text），它通常会选择该元素下直接的文本节点，而不会深入到其子元素的文本内容。然而，当它与:not()伪类结合使用时，其行为会变得更加强大。

2. :not() 伪类与 ::text 的协同：cssselect库支持一种特殊行为，即当:not(F)与E::text组合时，它不仅作用于元素E本身，还能作为一种过滤器，排除那些位于带有F类名的子孙元素内部的文本节点。这意味着，即使Text I don't want是嵌套在 h1 元素中，只要这个 h1 带有我们想要排除的类名（例如 classF），我们就可以利用 :not(.classF) 来阻止其文本被抓取。

基于上述理解，我们可以构建如下的CSS选择器：

微软文字转语音

微软文本转语音，支持选择多种语音风格，可调节语速。

0

查看详情

response.css('div.classA.classB.classC:not(.classF)::text').getall()

让我们详细解析这个选择器：

• div.classA.classB.classC: 精确定位到我们想要从中提取文本的目标父元素。
• :not(.classF): 这是关键所在。它告诉选择器，在从 div.classA.classB.classC 及其后代中提取文本时，要排除那些位于带有 classF 类名的元素内部的文本节点。由于 Text I don't want 位于 <h1 class="classF classD"> 内部，因此它会被这个 :not(.classF) 规则有效地过滤掉。
• ::text: 最终选择所有符合上述条件的文本节点。

通过这种方式，我们能够精准地获取到父元素下我们想要的文本，同时剔除不相关的子元素文本。

提取结果的后处理

getall() 方法会返回一个包含所有匹配文本节点的列表，其中可能包含大量的空白字符、换行符等。为了得到干净、易于处理的文本，通常需要进行后处理。

以下是一些常用的后处理方法及其示例：

1. 连接所有文本并清理

这种方法会将所有文本块连接成一个字符串，然后去除多余的空白和换行。

import scrapy
from scrapy.selector import Selector

html_content = '''
<div class="classA classB classC">
  <div class="classD classE">
    <h1 class="classF classD">Text I don't want</h1>
    <ul>....</ul> <!-- containing more text in nested children, don't want -->
  </div>
  Text I want to grab.
  <br>
  More text I want to grab
</div>
'''

resp = Selector(text=html_content)

# 原始抓取结果
raw_texts = resp.css('div.classA.classB.classC:not(.classF)::text').getall()
print

以上就是精准文本提取：利用CSS选择器与:not()在Scrapy中排除子元素文本的详细内容，更多请关注php中文网其它相关文章！