PHP前端开发
首页 Python正文

基于设计原则的重构：数据采集爬虫系统示例

百变鹏仔 1个月前 (01-16) #Python
文章标签 爬虫

介绍

提高代码质量始终是软件开发中的一个重要问题。在本文中，我们以数据收集爬虫系统为例，具体讲解如何通过逐步重构来应用设计原则和最佳实践。

改进前的代码

首先，我们从一个非常简单的网络抓取工具开始，所有功能都集成到一个类中。

由 deepl.com 翻译（免费版）

project_root/├── web_scraper.py├── main.py└── requirements.txt

web_scraper.py

import requestsimport jsonimport sqlite3class webscraper:    def __init__(self, url):        self.url = url    def fetch_data(self):        response = requests.get(self.url)        data = response.text        parsed_data = self.parse_data(data)        enriched_data = self.enrich_data(parsed_data)        self.save_data(enriched_data)        return enriched_data    def parse_data(self, data):        return json.loads(data)    def enrich_data(self, data):        # apply business logic here        # example: extract only data containing specific keywords        return {k: v for k, v in data.items() if 'important' in v.lower()}    def save_data(self, data):        conn = sqlite3.connect('test.db')        cursor = conn.cursor()        cursor.execute('insert into data (json_data) values (?)', (json.dumps(data),))        conn.commit()        conn.close()

main.py

from web_scraper import webscraperdef main():    scraper = webscraper('https://example.com/api/data')    data = scraper.fetch_data()    print(data)if __name__ == "__main__":    main()

需要改进的地方

  1. 违反了单一职责原则：一个类负责所有数据采集、分析、丰富和存储
  2. 业务逻辑不清晰：业务逻辑嵌入在enrich_data方法中，但与其他处理混合在一起
  3. 缺乏可重用性：功能紧密耦合，导致单独重用困难
  4. 测试难点：难以独立测试各个功能
  5. 配置刚性：数据库路径和其他设置直接嵌入代码中

重构阶段

1、职责分离：数据采集、分析、存储分离

目录结构

project_root/├── data_fetcher.py├── data_parser.py├── data_saver.py├── data_enricher.py├── web_scraper.py├── main.py└── requirements.txt

data_enricher.py

class dataenricher:    def enrich(self, data):        return {k: v for k, v in data.items() if 'important' in v.lower()}

web_scraper.py

from data_fetcher import datafetcherfrom data_parser import dataparserfrom data_enricher import dataenricherfrom data_saver import datasaverclass webscraper:    def __init__(self, url):        self.url = url        self.fetcher = datafetcher()        self.parser = dataparser()        self.enricher = dataenricher()        self.saver = datasaver()    def fetch_data(self):        raw_data = self.fetcher.fetch(self.url)        parsed_data = self.parser.parse(raw_data)        enriched_data = self.enricher.enrich(parsed_data)        self.saver.save(enriched_data)        return enriched_data

此更改明确了每个类的职责并提高了可重用性和可测试性。然而，业务逻辑仍然嵌入在 dataenricher 类中。

2.接口介绍和依赖注入

目录结构

project_root/├── interfaces/│   ├── __init__.py│   ├── data_fetcher_interface.py│   ├── data_parser_interface.py│   ├── data_enricher_interface.py│   └── data_saver_interface.py├── implementations/│   ├── __init__.py│   ├── http_data_fetcher.py│   ├── json_data_parser.py│   ├── keyword_data_enricher.py│   └── sqlite_data_saver.py├── web_scraper.py├── main.py└── requirements.txt

接口/data_fetcher_interface.py

from abc import abc, abstractmethodclass datafetcherinterface(abc):    @abstractmethod    def fetch(self, url: str) -> str:        pass

接口/data_parser_interface.py

from abc import abc, abstractmethodfrom typing import dict, anyclass dataparserinterface(abc):    @abstractmethod    def parse(self, raw_data: str) -> dict[str, any]:        pass

接口/data_enricher_interface.py

from abc import abc, abstractmethodfrom typing import dict, anyclass dataenricherinterface(abc):    @abstractmethod    def enrich(self, data: dict[str, any]) -> dict[str, any]:        pass

接口/data_saver_interface.py

from abc import abc, abstractmethodfrom typing import dict, anyclass datasaverinterface(abc):    @abstractmethod    def save(self, data: dict[str, any]) -> none:        pass

实现/keyword_data_enricher.py

import osfrom interfaces.data_enricher_interface import dataenricherinterfaceclass keyworddataenricher(dataenricherinterface):    def __init__(self):        self.keyword = os.getenv('important_keyword', 'important')    def enrich(self, data):        return {k: v for k, v in data.items() if self.keyword in str(v).lower()}

web_scraper.py

from interfaces.data_fetcher_interface import datafetcherinterfacefrom interfaces.data_parser_interface import dataparserinterfacefrom interfaces.data_enricher_interface import dataenricherinterfacefrom interfaces.data_saver_interface import datasaverinterfaceclass webscraper:    def __init__(self, fetcher: datafetcherinterface, parser: dataparserinterface,                  enricher: dataenricherinterface, saver: datasaverinterface):        self.fetcher = fetcher        self.parser = parser        self.enricher = enricher        self.saver = saver    def fetch_data(self, url):        raw_data = self.fetcher.fetch(url)        parsed_data = self.parser.parse(raw_data)        enriched_data = self.enricher.enrich(parsed_data)        self.saver.save(enriched_data)        return enriched_data

现阶段主要变化是

  1. 引入接口以方便切换到不同的实现
  2. 依赖注入让webscraper类更加灵活
  3. fetch_data 方法已更改为以 url 作为参数，使 url 规范更加灵活。
  4. 业务逻辑被抽象为dataenricherinterface并实现为keyworddataenricher。
  5. 允许使用环境变量设置关键字，使业务逻辑更加灵活。

这些改变极大地提高了系统的灵活性和可扩展性。然而，业务逻辑仍然嵌入在 dataenricherinterface 及其实现中。下一步是进一步分离这个业务逻辑，并将其明确定义为领域层。

3.领域层的引入和业务逻辑的分离

上一步中，接口的引入增加了系统的灵活性。但是，业务逻辑（在本例中为数据重要性确定和过滤）仍然被视为数据层的一部分。基于领域驱动设计的理念，将此业务逻辑视为系统的中心概念，并将其实现为独立的领域层，可以带来以下好处

  1. 业务逻辑集中管理
  2. 通过领域模型更具表现力的代码
  3. 更改业务规则具有更大的灵活性
  4. 易于测试

更新了目录结构：

project_root/├── domain/│   ├── __init__.py│   ├── scraped_data.py│   └── data_enrichment_service.py├── data/│   ├── __init__.py│   ├── interfaces/│   │   ├── __init__.py│   │   ├── data_fetcher_interface.py│   │   ├── data_parser_interface.py│   │   └── data_saver_interface.py│   ├── implementations/│   │   ├── __init__.py│   │   ├── http_data_fetcher.py│   │   ├── json_data_parser.py│   │   └── sqlite_data_saver.py├── application/│   ├── __init__.py│   └── web_scraper.py├── main.py└── requirements.txt

现阶段，dataenricherinterface 和 keyworddataenricher 的角色将转移到领域层的 scrapeddata 模型和 dataenrichmentservice 中。下面提供了此更改的详细信息。

变更前（第 2 部分）

class dataenricherinterface(abc):    @abstractmethod    def enrich(self, data: dict[str, any]) -> dict[str, any]:        pass
class keyworddataenricher(dataenricherinterface):    def __init__(self):        self.keyword = os.getenv('important_keyword', 'important')    def enrich(self, data):        return {k: v for k, v in data.items() if self.keyword in str(v).lower()}

修改后（第3部分）

@dataclassclass scrapeddata:    content: dict[str, any]    source_url: str    def is_important(self) -> bool:        important_keyword = os.getenv('important_keyword', 'important')        return any(important_keyword in str(v).lower() for v in self.content.values())
class dataenrichmentservice:    def __init__(self):        self.important_keyword = os.getenv('important_keyword', 'important')    def enrich(self, data: scrapeddata) -> scrapeddata:        if data.is_important():            enriched_content = {k: v for k, v in data.content.items() if self.important_keyword in str(v).lower()}            return scrapeddata(content=enriched_content, source_url=data.source_url)        return data

此更改改进了以下内容。

  1. 业务逻辑已移至领域层，消除了对 dataenricherinterface 的需求。

  2. keyworddataenricher 功能已合并到 dataenrichmentservice 中，将业务逻辑集中在一处。

  3. scrapeddata 模型中添加了 is_important 方法。这使得领域模型本身负责确定数据的重要性，并使领域概念更加清晰。

  4. dataenrichmentservice 现在直接处理 scrapeddata 对象，提高类型安全性。

webscraper 类也将更新以反映此更改。

from data.interfaces.data_fetcher_interface import DataFetcherInterfacefrom data.interfaces.data_parser_interface import DataParserInterfacefrom data.interfaces.data_saver_interface import DataSaverInterfacefrom domain.scraped_data import ScrapedDatafrom domain.data_enrichment_service import DataEnrichmentServiceclass WebScraper:    def __init__(self, fetcher: DataFetcherInterface, parser: DataParserInterface,                  saver: DataSaverInterface, enrichment_service: DataEnrichmentService):        self.fetcher = fetcher        self.parser = parser        self.saver = saver        self.enrichment_service = enrichment_service    def fetch_data(self, url: str) -> ScrapedData:        raw_data = self.fetcher.fetch(url)        parsed_data = self.parser.parse(raw_data)        scraped_data = ScrapedData(content=parsed_data, source_url=url)        enriched_data = self.enrichment_service.enrich(scraped_data)        self.saver.save(enriched_data)        return enriched_data

这一改变将业务逻辑从数据层完全转移到了领域层，使系统的结构更加清晰。删除 dataenricherinterface 并引入 dataenrichmentservice 不仅仅是接口替换，而是业务逻辑处理方式的根本性改变。

概括

本文演示了如何通过数据收集爬虫系统的逐步重构过程来提高代码质量并应用设计原则。主要改进的地方如下。

  1. 职责分离：应用单一职责原则，我们将数据获取、解析、丰富和存储分离到不同的类中。
  2. 接口和依赖注入的引入：大大增加了系统的灵活性和可扩展性，更容易切换不同的实现。
  3. 引入领域模型和服务：清晰分离业务逻辑，定义系统核心概念。
  4. 采用分层架构：明确分离领域、数据和应用层，并定义各层的职责。5.维护接口：维护数据层的抽象，以确保实现的灵活性。

这些改进极大地增强了系统的模块化、可复用性、可测试性、可维护性和可扩展性。特别是，通过应用领域驱动设计的一些概念，业务逻辑变得更加清晰，结构更加灵活，以适应未来需求的变化。同时，通过维护接口，我们确保了轻松更改和扩展数据层实现的灵活性。

需要注意的是，这个重构过程不是一次性的，而是持续改进过程的一部分。根据项目的规模和复杂程度，在适当的级别采用设计原则和 ddd 概念并进行渐进式改进非常重要。

最后，本文介绍的方法可以应用于各种软件项目，而不仅仅是数据收集爬虫。我们鼓励您在提高代码质量和设计时将它们用作参考。

文章推荐
最新文章
标签列表
关于我们 | 联系我们 | 网站地图
本站为非盈利性网站,不接受任何赞助和广告。
特别声明：本网站尊重并保护知识产权，根据《信息网络传播权保护条例》，如果我们转载的作品侵犯了您的权利,请在一个月内通知我们，我们会及时删除。 | 举报邮箱：344225443@qq.com
互联网ICP备案： 陕ICP备2023000799号 Copyright 2023-2024 sharedbk.com All rights reserved | (c)2008-2024 共享博客