基于设计原则的重构：数据采集爬虫系统示例-Python教程-PHP中文网

基于设计原则的重构：数据采集爬虫系统示例

介绍

提高代码质量始终是软件开发中的一个重要问题。在本文中，我们以数据收集爬虫系统为例，具体讲解如何通过逐步重构来应用设计原则和最佳实践。

改进前的代码

首先，我们从一个非常简单的网络抓取工具开始，所有功能都集成到一个类中。

由 deepl.com 翻译（免费版）

project_root/
├── web_scraper.py
├── main.py
└── requirements.txt

登录后复制

web_scraper.py

import requests
import json
import sqlite3

class webscraper:
    def __init__(self, url):
        self.url = url

    def fetch_data(self):
        response = requests.get(self.url)
        data = response.text
        parsed_data = self.parse_data(data)
        enriched_data = self.enrich_data(parsed_data)
        self.save_data(enriched_data)
        return enriched_data

    def parse_data(self, data):
        return json.loads(data)

    def enrich_data(self, data):
        # apply business logic here
        # example: extract only data containing specific keywords
        return {k: v for k, v in data.items() if 'important' in v.lower()}

    def save_data(self, data):
        conn = sqlite3.connect('test.db')
        cursor = conn.cursor()
        cursor.execute('insert into data (json_data) values (?)', (json.dumps(data),))
        conn.commit()
        conn.close()

登录后复制

main.py

from web_scraper import webscraper

def main():
    scraper = webscraper('https://example.com/api/data')
    data = scraper.fetch_data()
    print(data)

if __name__ == "__main__":
    main()

登录后复制

需要改进的地方

违反了单一职责原则：一个类负责所有数据采集、分析、丰富和存储
业务逻辑不清晰：业务逻辑嵌入在enrich_data方法中，但与其他处理混合在一起
缺乏可重用性：功能紧密耦合，导致单独重用困难
测试难点：难以独立测试各个功能
配置刚性：数据库路径和其他设置直接嵌入代码中

重构阶段

1、职责分离：数据采集、分析、存储分离

重大变化：将数据采集、分析和存储的职责分离到不同的类中
目标：应用单一责任原则，引入环境变量

目录结构

project_root/
├── data_fetcher.py
├── data_parser.py
├── data_saver.py
├── data_enricher.py
├── web_scraper.py
├── main.py
└── requirements.txt

登录后复制

data_enricher.py

class dataenricher:
    def enrich(self, data):
        return {k: v for k, v in data.items() if 'important' in v.lower()}

登录后复制

web_scraper.py

from data_fetcher import datafetcher
from data_parser import dataparser
from data_enricher import dataenricher
from data_saver import datasaver

class webscraper:
    def __init__(self, url):
        self.url = url
        self.fetcher = datafetcher()
        self.parser = dataparser()
        self.enricher = dataenricher()
        self.saver = datasaver()

    def fetch_data(self):
        raw_data = self.fetcher.fetch(self.url)
        parsed_data = self.parser.parse(raw_data)
        enriched_data = self.enricher.enrich(parsed_data)
        self.saver.save(enriched_data)
        return enriched_data

登录后复制

此更改明确了每个类的职责并提高了可重用性和可测试性。然而，业务逻辑仍然嵌入在 dataenricher 类中。

2.接口介绍和依赖注入

主要变化：引入接口并实现依赖注入。
目的：增加灵活性和可扩展性，扩展环境变量，抽象业务逻辑

目录结构

project_root/
├── interfaces/
│   ├── __init__.py
│   ├── data_fetcher_interface.py
│   ├── data_parser_interface.py
│   ├── data_enricher_interface.py
│   └── data_saver_interface.py
├── implementations/
│   ├── __init__.py
│   ├── http_data_fetcher.py
│   ├── json_data_parser.py
│   ├── keyword_data_enricher.py
│   └── sqlite_data_saver.py
├── web_scraper.py
├── main.py
└── requirements.txt

登录后复制

接口/data_fetcher_interface.py

from abc import abc, abstractmethod

class datafetcherinterface(abc):
    @abstractmethod
    def fetch(self, url: str) -> str:
        pass

登录后复制

接口/data_parser_interface.py

from abc import abc, abstractmethod
from typing import dict, any

class dataparserinterface(abc):
    @abstractmethod
    def parse(self, raw_data: str) -> dict[str, any]:
        pass

登录后复制

接口/data_enricher_interface.py

from abc import abc, abstractmethod
from typing import dict, any

class dataenricherinterface(abc):
    @abstractmethod
    def enrich(self, data: dict[str, any]) -> dict[str, any]:
        pass

登录后复制

接口/data_saver_interface.py

from abc import abc, abstractmethod
from typing import dict, any

class datasaverinterface(abc):
    @abstractmethod
    def save(self, data: dict[str, any]) -> none:
        pass

登录后复制

实现/keyword_data_enricher.py

import os
from interfaces.data_enricher_interface import dataenricherinterface

class keyworddataenricher(dataenricherinterface):
    def __init__(self):
        self.keyword = os.getenv('important_keyword', 'important')

    def enrich(self, data):
        return {k: v for k, v in data.items() if self.keyword in str(v).lower()}

登录后复制

web_scraper.py

from interfaces.data_fetcher_interface import datafetcherinterface
from interfaces.data_parser_interface import dataparserinterface
from interfaces.data_enricher_interface import dataenricherinterface
from interfaces.data_saver_interface import datasaverinterface

class webscraper:
    def __init__(self, fetcher: datafetcherinterface, parser: dataparserinterface, 
                 enricher: dataenricherinterface, saver: datasaverinterface):
        self.fetcher = fetcher
        self.parser = parser
        self.enricher = enricher
        self.saver = saver

    def fetch_data(self, url):
        raw_data = self.fetcher.fetch(url)
        parsed_data = self.parser.parse(raw_data)
        enriched_data = self.enricher.enrich(parsed_data)
        self.saver.save(enriched_data)
        return enriched_data

登录后复制

现阶段主要变化是

引入接口以方便切换到不同的实现
依赖注入让webscraper类更加灵活
fetch_data 方法已更改为以 url 作为参数，使 url 规范更加灵活。
业务逻辑被抽象为dataenricherinterface并实现为keyworddataenricher。
允许使用环境变量设置关键字，使业务逻辑更加灵活。

这些改变极大地提高了系统的灵活性和可扩展性。然而，业务逻辑仍然嵌入在 dataenricherinterface 及其实现中。下一步是进一步分离这个业务逻辑，并将其明确定义为领域层。

创客贴设计

创客贴设计，一款智能在线设计工具，设计不求人，AI助你零基础完成专业设计！

查看详情

3.领域层的引入和业务逻辑的分离

上一步中，接口的引入增加了系统的灵活性。但是，业务逻辑（在本例中为数据重要性确定和过滤）仍然被视为数据层的一部分。基于领域驱动设计的理念，将此业务逻辑视为系统的中心概念，并将其实现为独立的领域层，可以带来以下好处

业务逻辑集中管理
通过领域模型更具表现力的代码
更改业务规则具有更大的灵活性
易于测试

更新了目录结构：

project_root/
├── domain/
│   ├── __init__.py
│   ├── scraped_data.py
│   └── data_enrichment_service.py
├── data/
│   ├── __init__.py
│   ├── interfaces/
│   │   ├── __init__.py
│   │   ├── data_fetcher_interface.py
│   │   ├── data_parser_interface.py
│   │   └── data_saver_interface.py
│   ├── implementations/
│   │   ├── __init__.py
│   │   ├── http_data_fetcher.py
│   │   ├── json_data_parser.py
│   │   └── sqlite_data_saver.py
├── application/
│   ├── __init__.py
│   └── web_scraper.py
├── main.py
└── requirements.txt

登录后复制

现阶段，dataenricherinterface 和 keyworddataenricher 的角色将转移到领域层的 scrapeddata 模型和 dataenrichmentservice 中。下面提供了此更改的详细信息。

变更前（第 2 部分）

class dataenricherinterface(abc):
    @abstractmethod
    def enrich(self, data: dict[str, any]) -> dict[str, any]:
        pass

登录后复制

class keyworddataenricher(dataenricherinterface):
    def __init__(self):
        self.keyword = os.getenv('important_keyword', 'important')

    def enrich(self, data):
        return {k: v for k, v in data.items() if self.keyword in str(v).lower()}

登录后复制

修改后（第3部分）

@dataclass
class scrapeddata:
    content: dict[str, any]
    source_url: str

    def is_important(self) -> bool:
        important_keyword = os.getenv('important_keyword', 'important')
        return any(important_keyword in str(v).lower() for v in self.content.values())

登录后复制

class dataenrichmentservice:
    def __init__(self):
        self.important_keyword = os.getenv('important_keyword', 'important')

    def enrich(self, data: scrapeddata) -> scrapeddata:
        if data.is_important():
            enriched_content = {k: v for k, v in data.content.items() if self.important_keyword in str(v).lower()}
            return scrapeddata(content=enriched_content, source_url=data.source_url)
        return data

登录后复制

此更改改进了以下内容。

业务逻辑已移至领域层，消除了对 dataenricherinterface 的需求。
keyworddataenricher 功能已合并到 dataenrichmentservice 中，将业务逻辑集中在一处。
scrapeddata 模型中添加了 is_important 方法。这使得领域模型本身负责确定数据的重要性，并使领域概念更加清晰。
dataenrichmentservice 现在直接处理 scrapeddata 对象，提高类型安全性。

webscraper 类也将更新以反映此更改。

from data.interfaces.data_fetcher_interface import DataFetcherInterface
from data.interfaces.data_parser_interface import DataParserInterface
from data.interfaces.data_saver_interface import DataSaverInterface
from domain.scraped_data import ScrapedData
from domain.data_enrichment_service import DataEnrichmentService

class WebScraper:
    def __init__(self, fetcher: DataFetcherInterface, parser: DataParserInterface, 
                 saver: DataSaverInterface, enrichment_service: DataEnrichmentService):
        self.fetcher = fetcher
        self.parser = parser
        self.saver = saver
        self.enrichment_service = enrichment_service

    def fetch_data(self, url: str) -> ScrapedData:
        raw_data = self.fetcher.fetch(url)
        parsed_data = self.parser.parse(raw_data)
        scraped_data = ScrapedData(content=parsed_data, source_url=url)
        enriched_data = self.enrichment_service.enrich(scraped_data)
        self.saver.save(enriched_data)
        return enriched_data

登录后复制

这一改变将业务逻辑从数据层完全转移到了领域层，使系统的结构更加清晰。删除 dataenricherinterface 并引入 dataenrichmentservice 不仅仅是接口替换，而是业务逻辑处理方式的根本性改变。