使用Scapy爬虫时，管道持久化存储文件无法写入的原因是什么？-Python教程-PHP中文网

使用Scapy爬虫时，管道持久化存储文件无法写入的原因是什么？

花韻仙語

发布： 2025-03-25 10:00:03

原创

807人浏览过

使用scapy爬虫时，管道持久化存储文件无法写入的原因是什么？

Scapy爬虫数据持久化：管道文件写入失败原因分析及解决方法

本文分析Scapy爬虫中使用管道进行持久化存储时，文件无法写入数据的常见问题。问题通常源于管道类方法定义错误，导致文件指针未正确初始化。

问题描述:

用户在使用Scapy编写爬虫时，尝试利用自定义管道将爬取数据写入文件，但文件始终为空。错误信息提示TypeError: object of type qiubaiitem is not JSON serializable 和 AttributeError: 'NoneType' object has no attribute 'close'，表明数据类型错误以及文件指针未初始化。

代码分析:

用户提供的代码片段中，pipelines.py 文件存在关键错误：open_spdier 方法名拼写错误，应为 open_spider。 Scrapy框架无法识别错误拼写的函数名，导致 self.fp 始终为 None，进而导致文件写入失败。

错误代码 (pipelines.py):

class qiubaipipeline(object):
    def __init__(self):
        self.fp = None

    def open_spdier(self, spider):  # 错误：open_spdier 应为 open_spider
        print("开始爬虫")
        self.fp = open('./biedou.txt', 'w', encoding='utf-8')

    def close_spider(self, spider):
        print("结束爬虫")
        self.fp.close()

    def process_item(self, item, spider):
        title = str(item['title'])
        content = str(item['content'])
        self.fp.write(title + ':' + content + '\n')
        return item

登录后复制

更正后的代码 (pipelines.py):

class QiubaiPipeline(object): # 建议类名首字母大写
    def __init__(self):
        self.fp = None

    def open_spider(self, spider):
        print("开始爬虫")
        self.fp = open('./biedou.txt', 'w', encoding='utf-8')

    def close_spider(self, spider):
        print("结束爬虫")
        self.fp.close()

    def process_item(self, item, spider):
        title = str(item['title'])
        content = str(item['content'])
        self.fp.write(title + ':' + content + '\n')
        return item

登录后复制

解决方法: