Python爬虫怎样使用多线程加速_Python爬虫多线程与并发抓取性能优化教程-Python教程-PHP中文网

Python爬虫怎样使用多线程加速_Python爬虫多线程与并发抓取性能优化教程

雪夜

发布： 2025-11-14 19:55:36

原创

467人浏览过

多线程能加速爬虫因其可并发处理I/O延迟，通过threading和ThreadPoolExecutor实现，合理控制线程数、添加延时与重试，并推荐异步协程以提升性能。

python爬虫怎样使用多线程加速_python爬虫多线程与并发抓取性能优化教程

在Python爬虫开发中，使用多线程可以显著提升网页抓取效率，尤其是在处理大量独立请求时。单线程爬虫一次只能发送一个请求，等待响应完成后再进行下一个，而多线程允许同时发起多个网络请求，减少整体等待时间，从而加快数据采集速度。

为什么多线程能加速爬虫

网络爬虫的瓶颈通常不是CPU或内存，而是网络I/O延迟。当一个请求发出后，程序需要等待服务器响应，这段时间内单线程程序处于空闲状态。多线程通过让多个请求“并发”执行，利用等待时间去发起其他请求，提高资源利用率。

例如：抓取100个网页，每个请求平均耗时1秒，单线程需约100秒；若使用10个线程并发，理想情况下可缩短至10秒左右。

使用threading模块实现多线程爬虫

Python内置的threading模块可用于创建和管理线程。以下是一个基本的多线程爬虫示例：

立即学习“Python免费学习笔记（深入）”；

步骤说明：
- 定义一个任务函数，用于获取单个URL的内容
- 创建多个线程，每个线程执行该函数
- 使用ThreadPoolExecutor更方便地管理线程池

import threading
import requests
from concurrent.futures import ThreadPoolExecutor
<p>def fetch_url(url):
try:
response = requests.get(url, timeout=5)
print(f"成功抓取: {url}，状态码: {response.status_code}")
except Exception as e:
print(f"抓取失败 {url}: {e}")</p><h1>要抓取的URL列表</h1><p>urls = [
"<a href="https://www.php.cn/link/5f69e19efaba426d62faeab93c308f5c">https://www.php.cn/link/5f69e19efaba426d62faeab93c308f5c</a>",
"<a href="https://www.php.cn/link/ef246753a70fce661e16668898810624">https://www.php.cn/link/ef246753a70fce661e16668898810624</a>",
"<a href="https://www.php.cn/link/98a733901e53052474f2320d0a3a9473">https://www.php.cn/link/98a733901e53052474f2320d0a3a9473</a>",</p><h1>可添加更多测试链接</h1><p>]</p>
                    <div class="aritcle_card">
                        <a class="aritcle_card_img" href="/ai/732">
                            <img src="https://img.php.cn/upload/ai_manual/000/000/000/175679952967256.jpg" alt="豆包AI编程">
                        </a>
                        <div class="aritcle_card_info">
                            <a href="/ai/732">豆包AI编程</a>
                            <p>豆包推出的AI编程助手</p>
                            <div class="">
                                <img src="/static/images/card_xiazai.png" alt="豆包AI编程">
                                <span>483</span>
                            </div>
                        </div>
                        <a href="/ai/732" class="aritcle_card_btn">
                            <span>查看详情</span>
                            <img src="/static/images/cardxiayige-3.png" alt="豆包AI编程">
                        </a>
                    </div>
                <h1>使用线程池并发抓取</h1><p>with ThreadPoolExecutor(max_workers=5) as executor:
executor.map(fetch_url, urls)</p>

登录后复制

性能优化建议与注意事项

虽然多线程能提升速度，但不合理的配置反而会降低性能或被目标网站封禁。

关键优化点：
- 合理设置线程数量：一般建议5~20个线程，过多会导致系统负载过高或IP被封
- 添加随机延时：在请求间加入time.sleep(random.uniform(0.5, 1.5))避免高频请求
- 复用Session对象：多个请求使用同一个session可复用TCP连接，提升效率
- 设置超时和重试机制：防止某个请求卡住整个线程
- 使用User-Agent轮换：模拟不同浏览器访问，降低被识别为爬虫的风险

import requests
import random
import time
from concurrent.futures import ThreadPoolExecutor
<p>session = requests.Session()
session.headers.update({
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36'
})</p><p>def fetch_with_retry(url):
ua_list = [
'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36',
'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36',
'Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36'
]
session.headers['User-Agent'] = random.choice(ua_list)</p><pre class='brush:python;toolbar:false;'>for i in range(3):  # 最多重试3次
    try:
        response = session.get(url, timeout=5)
        print(f"{url} -> {response.status_code}")
        break
    except:
        time.sleep(random.uniform(1, 2))
        continue

登录后复制