精准提取HTML文本：利用CSS选择器与Scrapy过滤非直接子文本

1. 挑战：从复杂HTML中提取特定文本

在网页抓取任务中，我们经常需要从HTML元素中提取特定的文本内容。然而，HTML结构往往是嵌套且复杂的，目标文本可能与不需要的文本（例如，来自子元素的标题、列表项或其他辅助信息）混杂在一起。

考虑以下HTML结构示例：

<div class="classA classB classC">
  <div class="classD classE">
    <h1 class="classF classD">Text I don't want</h1>
    <ul>....</ul> <!-- 包含更多嵌套文本，不需要 -->
  </div>
  Text I want to grab.
  <br>
  More text I want to grab
</div>

我们的目标是仅提取 "Text I want to grab." 和 "More text I want to grab"，而忽略 <h1> 标签内的 "Text I don't want" 以及 <ul> 标签内的所有文本。

2. Scrapy ::text 伪元素的行为

解决上述问题的关键在于理解Scrapy（底层使用lxml）中CSS选择器 ::text 伪元素的行为。与某些其他解析器不同，Scrapy的 ::text 伪元素在应用于一个元素时，只会选择该元素的直接文本子节点，而不会递归地获取其所有后代元素中的文本。

立即学习“前端免费学习笔记（深入）”；

这意味着，对于上述HTML结构，如果我们选择最外层的 div.classA.classB.classC 元素并应用 ::text，它将只会返回直接位于该 div 下的文本内容，即 "Text I want to grab." 和 "More text I want to grab"，而自动排除 div.classD 和 h1 内部的文本，因为这些文本是其子元素的直接文本，而非父 div 的直接文本。

3. 使用CSS选择器进行精准提取

为了实现目标，我们可以构建一个CSS选择器来首先定位包含目标文本的父元素，然后利用 ::text 提取其直接文本内容。

3.1 定位父元素

首先，我们需要定位到包含我们所需文本的那个最外层 div 元素。根据提供的HTML，这个元素具有 classA, classB, classC 三个类。因此，我们可以使用 .classA.classB.classC 来选择它。

3.2 结合 :not() 伪类进行条件筛选（可选但推荐）

在某些情况下，我们可能需要对选定的父元素本身进行进一步的条件筛选。:not() 伪类允许我们从选择集中排除符合特定条件的元素。

微软文字转语音

微软文本转语音，支持选择多种语音风格，可调节语速。

0

查看详情

在提供的解决方案中，使用了 div.classA.classB.classC:not(.classF)::text。这里的 :not(.classF) 是应用于 div.classA.classB.classC 元素本身的。它确保只有当这个 div 元素不包含 classF 类时，才会被选中。在本例中，div.classA.classB.classC 确实没有 classF 类，所以这个条件是满足的。

尽管在当前HTML中，::text 已经足以排除 h1 中的文本，但 :not() 伪类提供了一种强大的机制，可以在更复杂的场景下，根据父元素自身的属性来精确控制其是否被选中。例如，如果父元素本身可能带有某种“排除”类，我们就可以用 :not() 来过滤掉整个父元素。

3.3 完整CSS选择器

结合上述分析，完整的CSS选择器如下：

div.classA.classB.classC:not(.classF)::text

这个选择器首先定位到具有 classA, classB, classC 的 div 元素，并确保该 div 不包含 classF 类。然后，它会提取该 div 元素的所有直接文本子节点。

4. 示例代码与实践

以下是使用Scrapy Shell进行验证的示例代码：

from scrapy.selector import Selector

html_content = '''
<div class="classA classB classC">
  <div class="classD classE">
    <h1 class="classF classD">Text I don't want</h1>
    <ul>....</ul> <!-- containing more text in nested children, don't want -->
  </div>
  Text I want to grab.
  <br>
  More text I want to grab
</div>
'''

# 初始化Scrapy Selector
resp = Selector(text=html_content)

# 应用CSS选择器提取文本
extracted_texts = resp.css('div.classA.classB.classC:not(.classF)::text').getall()
print("原始提取结果:", extracted_texts)

# 进一步处理和清洗
# 1. 去除每个文本片段的首尾空白，并用空字符串连接
cleaned_text_joined = ''.join([x.strip() for x in extracted_texts])
print("清洗后连接结果 (无空格):", cleaned_text_joined)

# 2. 去除每个文本片段的首尾空白，并用单个空格连接
cleaned_text_spaced = ' '.join([x.strip() for x in extracted_texts])
print("清洗后连接结果 (带空格):", cleaned_text_spaced)

# 3. 更彻底的清洗，去除所有换行符并合并
cleaned_text_final = ''.join(extracted_texts).replace('\n', '').strip()
print("最终清洗结果 (移除所有换行符):", cleaned_text_final)

输出示例：

原始提取结果: ['\n  ', '\n  ', 'Text I want to grab.\n  ', '\n  ', 'More text I want to grab\n']
清洗后连接结果 (无空格): Text I want to grab.More text I want to grab
清洗后连接结果 (带空格):  Text I want to grab. More text I want to grab
最终清洗结果 (移除所有换行符): Text I want to grab.    More text I want to grab

从输出中可以看出，getall() 返回的列表中包含了我们想要的文本以及一些空白字符和换行符。通过后续的Python字符串处理，我们可以

以上就是精准提取HTML文本：利用CSS选择器与Scrapy过滤非直接子文本的详细内容，更多请关注php中文网其它相关文章！