Scrapy建模通过Item定义数据结构，1. 在items.py中创建继承scrapy.Item的类并用Field()声明字段；2. Spider中实例化Item填充数据；3. 可使用ItemLoader简化提取流程，支持输入输出处理器；4. 通过Pipeline实现数据存储与处理，需在settings.py中启用。
在使用 Python Scrapy 进行爬虫开发时，建模主要是通过 Item 来完成的。Scrapy 的 Item 类似于数据模型，用来定义你要抓取的数据结构，类似于 Django 中的 Model 或数据库表结构。
在 Scrapy 项目中，Item 是在 items.py 文件中定义的。你可以创建一个类继承 scrapy.Item，然后用 scrapy.Field() 来声明字段。
例如，你想爬取书籍信息：
import scrapy <p>class BookItem(scrapy.Item): title = scrapy.Field() price = scrapy.Field() author = scrapy.Field() publish_date = scrapy.Field() rating = scrapy.Field()</p>
在编写爬虫（Spider）时，导入并实例化你定义的 Item，然后填充数据。
立即学习“Python免费学习笔记（深入）”；
import scrapy
from myproject.items import BookItem
<p>class BookSpider(scrapy.Spider):
name = 'book_spider'
start_urls = ['<a href="https://www.php.cn/link/d0a446d119cee636ddcafab757831a9f">https://www.php.cn/link/d0a446d119cee636ddcafab757831a9f</a>']</p><pre class='brush:python;toolbar:false;'>def parse(self, response):
item = BookItem()
item['title'] = response.css('h1.title::text').get()
item['price'] = response.css('span.price::text').get()
item['author'] = response.css('span.author::text').get()
item['publish_date'] = response.css('span.date::attr(content)').get()
item['rating'] = response.css('div.rating::text').re_first(r'(\d+\.\d)')
yield item当字段提取逻辑复杂时，可以使用 ItemLoader 来简化和规范化处理流程。
先在 items.py 中定义 Loader：
from scrapy.loader import ItemLoader
from scrapy.loader.processors import TakeFirst, MapCompose
<p>class BookItem(scrapy.Item):
title = scrapy.Field(
input_processor=MapCompose(str.strip),
output_processor=TakeFirst()
)
price = scrapy.Field()
author = scrapy.Field()
publish_date = scrapy.Field()
rating = scrapy.Field()</p><h1>可以在 spider 中使用</h1><p>from scrapy.loader import ItemLoader</p><p>def parse(self, response):
loader = ItemLoader(item=BookItem(), response=response)
loader.add_css('title', 'h1.title::text')
loader.add_css('price', 'span.price::text')
loader.add_value('url', response.url)
yield loader.load_item()</p>定义好 Item 后，可以通过 Pipeline 将数据保存到 JSON、数据库等。确保在 settings.py 中启用 Pipeline：
ITEM_PIPELINES = {
'myproject.pipelines.CleanDataPipeline': 300,
'myproject.pipelines.SaveToDatabasePipeline': 400,
}
基本上就这些。Scrapy 建模核心是 Item + Field + Pipeline 配合，结构清晰，易于维护和扩展。不复杂但容易忽略细节，比如字段预处理和异常处理，建议结合实际项目逐步优化。
以上就是python scrapy如何建模的详细内容，更多请关注php中文网其它相关文章！
python怎么学习？python怎么入门？python在哪学？python怎么学才快？不用担心，这里为大家提供了python速学教程(入门到精通)，有需要的小伙伴保存下载就能学习啦！
广告Copyright 2014-2025 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号
199
收藏
