使用 Scrapy 进行多线程网页爬取以提取链接-Python教程-PHP中文网

使用 Scrapy 进行多线程网页爬取以提取链接

DDD

发布： 2025-09-11 17:46:01

原创

674人浏览过

使用 scrapy 进行多线程网页爬取以提取链接

本文将介绍如何使用 Python 的 Scrapy 框架，高效地从单个 URL 中提取所有链接，包括嵌套的链接。Scrapy 提供了强大的多线程爬取能力，简化了网页爬取任务，避免了手动管理线程的复杂性。我们将通过一个简单的示例，展示如何配置 Scrapy 并提取目标网页上的所有链接，并将其保存到 CSV 文件中。

Scrapy 简介

Scrapy 是一个强大的 Python 框架，用于大规模网页抓取。它内置了多线程支持，并且提供了许多方便的功能，例如自动处理请求和响应、数据提取和数据存储。与手动编写多线程代码相比，Scrapy 可以显著简化爬虫的开发过程。

安装 Scrapy

首先，需要安装 Scrapy。可以使用 pip 命令进行安装：

pip install scrapy

登录后复制

创建 Scrapy 爬虫

Scrapy 爬虫的核心是定义如何从网页中提取数据，以及如何跟踪链接并继续爬取。以下是一个简单的 Scrapy 爬虫示例，用于从 https://www.tradeindia.com/ 提取所有链接：

import scrapy

class MySpider(scrapy.Spider):
    name = 'myspider'
    allowed_domains = ['www.tradeindia.com']
    start_urls = ['https://www.tradeindia.com/']

    def parse(self, response):
        print('\n>>> url:', response.url, '\n')

        links = response.css('a::attr(href)').extract()

        # 创建 item，用于保存到 CSV 文件
        for url in links:
            yield {'url': url}

        # 创建请求，用于跟踪链接并继续爬取
        for url in links:
            yield response.follow(url)

登录后复制

代码解释：

name: 爬虫的名称，必须唯一。
allowed_domains: 允许爬取的域名，防止爬虫爬到其他网站。
start_urls: 爬虫启动时要爬取的 URL 列表。
parse(self, response): Scrapy 用来处理下载的 response 的回调函数。response 对象包含了页面的内容。
- response.css('a::attr(href)').extract(): 使用 CSS 选择器提取所有 <a> 标签的 href 属性。
- yield {'url': url}: 将提取的 URL 作为 item 产出。Scrapy 会自动将这些 item 保存到指定的文件中。
- yield response.follow(url): 创建一个新的请求，用于爬取提取的 URL。response.follow 会自动处理相对 URL。

运行 Scrapy 爬虫

为了运行爬虫，需要创建一个 CrawlerProcess 实例，并配置一些参数。以下是如何在不创建 Scrapy 项目的情况下运行爬虫的示例代码：

稿定在线PS

PS软件网页版

查看详情

from scrapy.crawler import CrawlerProcess

c = CrawlerProcess({
    'USER_AGENT': 'Mozilla/5.0',
    'CONCURRENT_REQUESTS': 10,  # 默认值: 16
    #'RANDOMIZE_DOWNLOAD_DELAY': True,  # 默认值: True
    'DOWNLOAD_DELAY': 2,  # 模拟真实用户，设置请求之间的延迟 (0.5*delay 到 1.5*delay)
    #'LOG_LEVEL': 'INFO',       # 减少屏幕上的信息输出
    'FEEDS': {'output.csv': {'format': 'csv'}}, # 将结果保存到 CSV 文件
})

c.crawl(MySpider)
c.start()

登录后复制

代码解释：