标签）的纯文本内容，而非包含标签的完整html结构。教程将提供详细代码示例，并阐述get()方法的正确用法，以及如何处理多个匹配元素，帮助开发者高效、准确地获取所需数据。
在进行网页数据抓取时，我们经常需要从HTML元素中提取其内部的纯文本内容，而不是包含标签本身的完整HTML片段。例如，对于
Bob Guiney
这样的HTML结构，我们的目标是仅仅获取“Bob Guiney”。直接使用.extract()或.get()方法在没有指定文本节点时，通常会返回包含标签的整个HTML字符串，这与我们的预期不符。Scrapy的CSS选择器提供了一个强大的伪元素::text来解决这个问题。核心问题：获取纯文本而非HTML
当使用CSS选择器选中一个HTML元素时，例如p_names = section_div.css("section#talent-summary > p")，如果直接对其结果调用.extract()或.get()，例如name = p_names[0].extract()，会得到整个HTML标签，如
Bob Guiney
。这是因为选择器默认选取的是元素本身，而非其内部的文本节点。解决方案：利用::text伪元素
要精准地提取HTML标签的内部文本内容，Scrapy的CSS选择器支持使用::text伪元素。这个伪元素专门用于选取元素的直接文本子节点，忽略所有子标签。
示例代码：
立即学习“前端免费学习笔记（深入）”；
假设我们有以下HTML片段，并已通过Scrapy的response对象获取：
Bob Guiney
This is a second paragraph.
Some other text. Bold text
要从第一个
标签中提取“Bob Guiney”，我们可以这样修改选择器：
import scrapy
class MySpider(scrapy.Spider):
name = 'text_extractor'
start_urls = ['http://example.com'] # 替换为实际的URL
def parse(self, response):
# 1. 首先定位到包含目标p标签的父级div
section_div = response.css('div[data-testid="talent-profile-page-talent-info"]')
# 2. 使用::text伪元素选择p标签内的纯文本
# 这将返回一个包含所有匹配文本节点的SelectorList
p_text_selectors = section_div.css("section#talent-summary > p::text")
# 3. 获取第一个p标签的文本内容
# 使用.get()方法从Selector对象中提取字符串
first_p_name = p_text_selectors[0].get()
print(f"第一个p标签的文本内容: {first_p_name}")
# 如果p标签下有多个文本节点，或者需要获取所有p标签的文本
all_p_texts = p_text_selectors.getall()
print(f"所有p标签的文本内容列表: {all_p_texts}")
# 4. 提取第二个p标签的文本内容
if len(p_text_selectors) > 1:
second_p_text = p_text_selectors[1].get()
print(f"第二个p标签的文本内容: {second_p_text}")代码解释：
- section_div.css("section#talent-summary > p::text"): 这里的关键是::text。它告诉Scrapy我们不仅要选择
标签，还要进一步选择这些
标签内部的直接文本节点。
- p_text_selectors[0].get(): ::text选择器返回的是一个SelectorList，其中每个Selector对象都代表一个文本节点。.get()方法用于从单个Selector对象中提取其对应的字符串内容。
- p_text_selectors.getall(): 如果需要获取所有匹配到的文本内容，可以直接对SelectorList调用getall()方法，它会返回一个包含所有文本字符串的列表。
处理多个匹配元素
当你的选择器可能匹配到多个元素时，::text同样适用。section_div.css("section#talent-summary > p::text")会返回一个包含多个文本Selector对象的SelectorList。
你可以通过索引来访问特定的文本内容：
# 获取第一个p标签的文本
first_p_text = p_text_selectors[0].get()
# 获取第二个p标签的文本（如果存在）
if len(p_text_selectors) > 1:
second_p_text = p_text_selectors[1].get()或者，你可以遍历SelectorList来处理所有匹配到的文本：
for text_selector in p_text_selectors:
print(text_selector.get())注意事项
-
::text与嵌套标签： ::text伪元素只会提取元素的直接文本子节点。如果文本被包裹在更深层的子标签中（例如 ，对p::text只会得到Hello），则需要更复杂的选择器（如xpath('./text()')结合xpath('.//text()')来获取所有后代文本，或者更精确的CSS选择器）。但对于本教程中的简单
Hello World
Bob Guiney
情况，::text是完美的解决方案。 -
.get()与.getall()：
- .get()：用于从SelectorList中获取第一个匹配项的字符串内容。如果SelectorList为空，则返回None。
- .getall()：用于获取SelectorList中所有匹配项的字符串内容列表。如果SelectorList为空，则返回空列表[]。
- 避免使用.extract()和.extract_first()： 在新版本的Scrapy中，推荐使用.get()和.getall()来替代已弃用的.extract_first()和.extract()。它们功能相同，但新方法名称更具描述性且符合PEP 8规范。
总结
通过在CSS选择器中使用::text伪元素，Scrapy能够帮助我们精确地从HTML元素中提取纯文本内容，而非包含标签的完整HTML。结合.get()或.getall()方法，开发者可以高效且准确地获取所需的数据。理解并正确运用::text是Scrapy数据抓取中的一项基本而重要的技能。
