Scrapy CSS选择器：利用::text伪元素精准提取HTML标签内部文本

在进行网页数据抓取时，我们经常需要从html元素中提取其内部的纯文本内容，而不是包含标签本身的完整html片段。例如，对于<p color="inherit" class="text-sc-1d6qffq-0 ebczuw">bob guiney</p>这样的html结构，我们的目标是仅仅获取“bob guiney”。直接使用.extract()或.get()方法在没有指定文本节点时，通常会返回包含标签的整个html字符串，这与我们的预期不符。scrapy的css选择器提供了一个强大的伪元素::text来解决这个问题。

核心问题：获取纯文本而非HTML

当使用CSS选择器选中一个HTML元素时，例如p_names = section_div.css("section#talent-summary > p")，如果直接对其结果调用.extract()或.get()，例如name = p_names[0].extract()，会得到整个HTML标签，如<p color="inherit" class="Text-sc-1d6qffq-0 eBczUW">Bob Guiney</p>。这是因为选择器默认选取的是元素本身，而非其内部的文本节点。

解决方案：利用::text伪元素

要精准地提取HTML标签的内部文本内容，Scrapy的CSS选择器支持使用::text伪元素。这个伪元素专门用于选取元素的直接文本子节点，忽略所有子标签。

示例代码：

假设我们有以下HTML片段，并已通过Scrapy的response对象获取：

立即学习“前端免费学习笔记（深入）”；

<div data-testid="talent-profile-page-talent-info">
    <section id="talent-summary">
        <p color="inherit" class="Text-sc-1d6qffq-0 eBczUW">Bob Guiney</p>
        <p>This is a second paragraph.</p>
        <span>
            Some other text.
            <b>Bold text</b>
        </span>
    </section>
</div>

要从第一个<p>标签中提取“Bob Guiney”，我们可以这样修改选择器：

Tellers AI

Tellers是一款自动视频编辑工具，可以将文本、文章或故事转换为视频。

78

查看详情

import scrapy

class MySpider(scrapy.Spider):
    name = 'text_extractor'
    start_urls = ['http://example.com'] # 替换为实际的URL

    def parse(self, response):
        # 1. 首先定位到包含目标p标签的父级div
        section_div = response.css('div[data-testid="talent-profile-page-talent-info"]')

        # 2. 使用::text伪元素选择p标签内的纯文本
        # 这将返回一个包含所有匹配文本节点的SelectorList
        p_text_selectors = section_div.css("section#talent-summary > p::text")

        # 3. 获取第一个p标签的文本内容
        # 使用.get()方法从Selector对象中提取字符串
        first_p_name = p_text_selectors[0].get()
        print(f"第一个p标签的文本内容: {first_p_name}")

        # 如果p标签下有多个文本节点，或者需要获取所有p标签的文本
        all_p_texts = p_text_selectors.getall()
        print(f"所有p标签的文本内容列表: {all_p_texts}")

        # 4. 提取第二个p标签的文本内容
        if len(p_text_selectors) > 1:
            second_p_text = p_text_selectors[1].get()
            print(f"第二个p标签的文本内容: {second_p_text}")

代码解释：

• section_div.css("section#talent-summary > p::text"): 这里的关键是::text。它告诉Scrapy我们不仅要选择<p>标签，还要进一步选择这些<p>标签内部的直接文本节点。
• p_text_selectors[0].get(): ::text选择器返回的是一个SelectorList，其中每个Selector对象都代表一个文本节点。.get()方法用于从单个Selector对象中提取其对应的字符串内容。
• p_text_selectors.getall(): 如果需要获取所有匹配到的文本内容，可以直接对SelectorList调用getall()方法，它会返回一个包含所有文本字符串的列表。

处理多个匹配元素

当你的选择器可能匹配到多个元素时，::text同样适用。section_div.css("section#talent-summary > p::text")会返回一个包含多个文本Selector对象的SelectorList。

你可以通过索引来访问特定的文本内容：

# 获取第一个p标签的文本
first_p_text = p_text_selectors[0].get()

# 获取第二个p标签的文本（如果存在）
if len(p_text_selectors) > 1:
    second_p_text = p_text_selectors[1].get()

或者，你可以遍历SelectorList来处理所有匹配到的文本：

for text_selector in p_text_selectors:
    print(text_selector.get())

注意事项

1. ::text与嵌套标签： ::text伪元素只会提取元素的直接文本子节点。如果文本被包裹在更深层的子标签中（例如 <div><p>Hello <span>World</span></p></div>，对p::text只会得到Hello），则需要更复杂的选择器（如xpath('./text()')结合xpath('.//text()')来获取所有后代文本，或者更精确的CSS选择器）。但对于本教程中的简单<p>Bob Guiney</p>情况，::text是完美的解决方案。
2. .get()与.getall()：
   • .get()：用于从SelectorList中获取第一个匹配项的字符串内容。如果SelectorList为空，则返回None。
   • .getall()：用于获取SelectorList中所有匹配项的字符串内容列表。如果SelectorList为空，则返回空列表[]。
3. 避免使用.extract()和.extract_first()： 在新版本的Scrapy中，推荐使用.get()和.getall()来替代已弃用的.extract_first()和.extract()。它们功能相同，但新方法名称更具描述性且符合PEP 8规范。

总结

通过在CSS选择器中使用::text伪元素，Scrapy能够帮助我们精确地从HTML元素中提取纯文本内容，而非包含标签的完整HTML。结合.get()或.getall()方法，开发者可以高效且准确地获取所需的数据。理解并正确运用::text是Scrapy数据抓取中的一项基本而重要的技能。

以上就是Scrapy CSS选择器：利用::text伪元素精准提取HTML标签内部文本的详细内容，更多请关注php中文网其它相关文章！