Scrapy CSS选择器提取P标签内文本的技巧

在scrapy爬虫开发中，我们经常需要从html元素中提取其内部的纯文本内容，而不是包含标签在内的整个html片段。例如，对于 <p color="inherit" class="text-sc-1d6qffq-0 ebczuw">bob guiney</p> 这样的html结构，我们可能只希望获取 "bob guiney"。直接使用 response.css('p').extract() 或 response.css('p').get() 通常会返回完整的html字符串，这并非我们所期望的。

核心解决方案：使用 ::text 伪元素

Scrapy的CSS选择器提供了一个强大的伪元素 ::text，专门用于提取元素的直接文本节点。通过将其附加到任何CSS选择器之后，您可以指示Scrapy只返回该元素内部的纯文本内容，而忽略所有子标签。

示例代码：

假设我们有以下HTML片段，并且已经通过 section_div 定位到了其父级元素：

<div data-testid="talent-profile-page-talent-info">
    <section id="talent-summary">
        <p color="inherit" class="Text-sc-1d6qffq-0 eBczUW">Bob Guiney</p>
        <p>Another paragraph text.</p>
        <span>This is a span.</span>
    </section>
</div>

要从第一个 p 标签中提取 "Bob Guiney"，我们可以这样修改代码：

立即学习“前端免费学习笔记（深入）”；

import scrapy

class MySpider(scrapy.Spider):
    name = 'my_spider'
    start_urls = ['http://example.com'] # 替换为实际URL

    def parse(self, response):
        # 假设 response 包含了上述HTML结构
        section_div = response.css('div[data-testid="talent-profile-page-talent-info"]')

        # 使用 ::text 伪元素提取 p 标签内的直接文本
        p_names_selectors = section_div.css("section#talent-summary > p::text")

        # 获取第一个 p 标签的文本内容
        if p_names_selectors:
            name = p_names_selectors[0].get()
            print(f"提取到的姓名: {name.strip()}") # .strip() 用于去除可能的空白字符
        else:
            print("未找到 p 标签文本。")

        # 获取所有 p 标签的文本内容
        all_p_texts = [text.strip() for text in p_names_selectors.getall()]
        print(f"所有 p 标签文本: {all_p_texts}")

        # 如果 p 标签内部有其他标签，::text 将只提取 p 标签的直接文本子节点
        # 例如：<p>Hello <span>World</span>!</p>
        # p::text 会返回 "Hello " 和 "!"，而不会返回 "World"
        # 如果需要获取所有文本（包括子标签内的文本），可能需要结合 XPath 的 string(.) 方法
        # 或更复杂的 CSS/XPath 组合。但对于简单的纯文本需求，::text 是最直接高效的选择。

代码解释：

巧文书

巧文书是一款AI写标书、AI写方案的产品。通过自研的先进AI大模型，精准解析招标文件，智能生成投标内容。

61

查看详情

1. section_div.css("section#talent-summary > p::text"):

   • section#talent-summary > p: 这部分选择器首先定位到 id 为 talent-summary 的 section 元素，然后选择其直接子元素 p。
   • ::text: 这是关键部分。它告诉Scrapy，对于前面选择到的每一个 p 元素，我们只关心其内部的直接文本内容，而不是整个 p 标签的HTML结构。

2. p_names_selectors[0].get():

   • 当使用 ::text 时，css() 方法返回的仍然是一个 SelectorList 对象，其中每个 Selector 对象现在代表一个文本节点。
   • [0] 用于访问 SelectorList 中的第一个文本节点选择器。
   • .get() (或 .extract()) 方法用于从该文本节点选择器中提取实际的字符串值。建议使用 .get()，它是 .extract_first() 的更简洁替代。

3. p_names_selectors.getall():

   • 如果页面中有多个符合选择器条件的 p 标签，并且您希望获取所有这些标签的文本内容，可以使用 getall() (或 extract()) 方法。它将返回一个包含所有匹配文本字符串的列表。

注意事项与总结

• ::text 的作用范围： ::text 伪元素只会提取元素的直接文本子节点。这意味着，如果一个 p 标签内部还包含其他HTML标签（例如 <span>、<a>），::text 将不会提取这些子标签内部的文本。它只会获取 p 标签与其直接子标签之间或 p 标签开头和结尾处的文本。
  • 例如：对于 <p>Hello <span>World</span>!</p>，p::text 会返回 ['Hello ', '!']。
• 处理空白字符： 提取到的文本内容可能包含前导或尾随的空白字符（如换行符、空格）。通常，您会希望使用Python的 str.strip() 方法来清理这些空白。
• 选择器的灵活性： ::text 可以与任何有效的CSS选择器结合使用，从而实现非常精确的文本提取。

通过掌握 ::text 伪元素，您可以更高效、更精确地从网页中抓取所需的纯文本信息，避免了对完整HTML字符串进行额外的解析或正则匹配，从而简化了Scrapy爬虫的开发过程。

以上就是Scrapy CSS选择器提取P标签内文本的技巧的详细内容，更多请关注php中文网其它相关文章！