Scrapy爬虫管道持久化存储文件无法写入的原因是什么？-Python教程-PHP中文网

Scrapy爬虫管道持久化存储文件无法写入的原因是什么？

花韻仙語

发布： 2025-03-19 08:40:15

原创

391人浏览过

scrapy爬虫管道持久化存储文件无法写入的原因是什么？

Scrapy爬虫管道：持久化存储文件写入失败问题排查

本文分析一个Scrapy爬虫项目中，管道（Pipeline）持久化存储文件写入失败的问题。问题表现为：创建的文件为空，无法写入数据。

代码示例（问题代码）：

# spider.py
import scrapy
import sys
sys.path.append(r'd:\project_test\pydemo\demo1\xunlian\myspider\qiubai')
from ..items import qiubaiitem

class biedouspider(scrapy.Spider):
    name = "biedou"
    start_urls = ["https://www.biedoul.com/wenzi/"]

    def parse(self, response):
        dl_list = response.xpath('/html/body/div[4]/div[1]/div[1]/dl')

        for dl in dl_list:
            title = dl.xpath('./span/dd/a/strong/text()')[0].extract()
            content = dl.xpath('./dd//text()').extract()
            content = ''.join(content)

            item = qiubaiitem()
            item['title'] = title
            item['content'] = content
            yield item
            break

# items.py
import scrapy
class qiubaiitem(scrapy.Item):
    title = scrapy.Field()
    content = scrapy.Field()

# pipelines.py
class qiubaipipeline(object):
    def __init__(self):
        self.fp = None

    def open_spdier(self, spider):  # 拼写错误！
        print("开始爬虫")
        self.fp = open('./biedou.txt', 'w', encoding='utf-8')

    def close_spider(self, spider):
        print("结束爬虫")
        self.fp.close()

    def process_item(self, item, spider):
        title = str(item['title'])
        content = str(item['content'])
        self.fp.write(title + ':' + content + '\n')
        return item

登录后复制

错误信息：

<code>...
typeerror: object of type qiubaiitem is not json serializable
结束爬虫
...
attributeerror: 'nonetype' object has no attribute 'close'</code>

登录后复制

问题分析：

错误信息提示'nonetype' object has no attribute 'close'，表明self.fp为None，导致无法关闭文件。进一步追溯原因，发现pipelines.py文件中open_spdier方法名拼写错误，应为open_spider。由于方法名错误，Scrapy框架无法正确调用open_spider方法打开文件，导致self.fp始终为None。 TypeError错误则是因为process_item方法尝试写入qiubaiitem对象，而该对象并非直接可写入字符串类型。

法语写作助手

法语助手旗下的AI智能写作平台，支持语法、拼写自动纠错，一键改写、润色你的法语作文。

查看详情

解决方案：

修正pipelines.py文件中open_spdier方法的拼写错误，并改进process_item方法以正确处理Item对象：

# pipelines.py (修正后的代码)
class QiubaiPipeline(object):
    def __init__(self):
        self.fp = None

    def open_spider(self, spider): # 修正拼写错误
        print("开始爬虫")
        self.fp = open('./biedou.txt', 'w', encoding='utf-8')

    def close_spider(self, spider):
        print("结束爬虫")
        self.fp.close()

    def process_item(self, item, spider):
        title = item['title']
        content = item['content']
        self.fp.write(f"{title}:{content}\n") # 使用f-string更简洁
        return item

登录后复制

通过修正方法名和改进process_item方法，确保文件被正确打开和写入数据，从而解决文件写入失败的问题。建议使用f-string格式化字符串，代码更简洁易读。此外，为了更好的错误处理，建议添加try...except块来处理潜在的IO错误。

以上就是Scrapy爬虫管道持久化存储文件无法写入的原因是什么？的详细内容，更多请关注php中文网其它相关文章！