Scrapy数据管道内存导出：利用信号机制将处理后的数据传递到外部脚本

# 错误的尝试
raw_data = RawDataPipeline().raw_data
cleaned_data = CleanedDataPipeline().cleaned_data

# your_project/pipelines.py
from scrapy.item import ItemAdapter
from scrapy import signals
from pydispatch import dispatcher # 导入dispatcher，用于发送信号

# 假设您的爬虫名称是 'NieuwbouwspiderSpider'
# 如果需要，可以在这里定义一个自定义信号，但使用内置的spider_closed更通用
# from scrapy.signalmanager import SignalManager
# custom_signals = SignalManager()
# custom_close_signal = object() # 定义一个自定义信号对象

class RawDataPipeline:
    def __init__(self):
        self.raw_data = []

    def process_item(self, item, spider):
        # 基础数据验证：检查爬取到的item是否为空
        adapter = ItemAdapter(item)
        if adapter.get('project_source'): # 假设'project_source'是item中的一个关键字段
            self.raw_data.append(adapter.asdict())
        return item

    def close_spider(self, spider):
        """
        当爬虫关闭时，发送包含原始数据的信号。
        我们将原始数据作为关键字参数 'raw_data_from_pipeline' 传递。
        """
        # 注意：这里我们使用dispatcher.send直接发送信号
        # 而不是 spider.crawler.signals.send_catch_log，
        # 因为后者通常用于Scrapy内部，且可能与dispatcher.send行为略有不同。
        # dispatcher.send 是 pydispatch 库提供的通用信号发送机制。
        dispatcher.send(signal=signals.spider_closed, sender=spider, raw_data_from_pipeline=self.raw_data)
        # close_spider的返回值通常被Scrapy忽略，因此无需返回self.raw_data

class CleanedDataPipeline:
    def __init__(self):
        self.cleaned_data = []
        self.list_dic = {} # 假设这是管道内部用于清洗的辅助字典

    def clean_item(self, item):
        # 这是一个示例清洗函数，实际应根据需求实现
        adapter = ItemAdapter(item)
        cleaned_item = {}
        for key, value in adapter.items():
            if isinstance(value, str):
                cleaned_item[key] = value.strip()
            else:
                cleaned_item[key] = value
        # 假设这里有更复杂的清洗逻辑，例如处理list_dic
        return cleaned_item

    def convert_to_list(self, cleaned_item, key):
        # 示例函数，用于将特定键的值转换为列表
        if key in cleaned_item and not isinstance(cleaned_item[key], list):
            cleaned_item[key] = [cleaned_item[key]]

    def process_item(self, item, spider):
        cleaned_item = self.clean_item(item)
        self.cleaned_data.append(cleaned_item)
        return item

    def close_spider(self, spider):
        # 假设在清洗过程中，list_dic被填充
        # Convert values to list for keys in list_dic
        for key in self.list_dic:
            for cleaned_item in self.cleaned_data:
                self.convert_to_list(cleaned_item, key)

        """
        当爬虫关闭时，