python如何使用多线程下载文件_python多线程实现文件并发下载教程

裘德小鎮的故事

发布时间：2025-09-14 17:25:01

1018人浏览过

来源于php中文网

原创

Python多线程下载通过将文件分块并行下载提升速度，核心是利用requests和threading库，结合Range请求实现断点续传与高效合并。

python如何使用多线程下载文件_python多线程实现文件并发下载教程

Python利用多线程下载文件，核心在于将一个大文件逻辑上分割成多个独立的小块，然后由不同的线程同时去请求并下载这些小块，最终在本地将它们按顺序拼接起来。这种并行处理方式能显著提升下载速度，尤其是在网络带宽充足但单线程下载受限的情况下。

解决方案

要实现Python多线程文件下载，我们通常会用到

requests

库来处理HTTP请求，以及

threading

模块来管理并发任务。基本思路是：

获取文件信息： 首先向服务器发送一个
```
HEAD
```
请求或
```
GET
```
请求（带
```
Range: bytes=0-
```
），获取文件的总大小。这对于计算每个线程需要下载的字节范围至关重要。
文件分块： 根据文件总大小和我们期望的线程数量，计算出每个线程负责下载的起始和结束字节范围。例如，一个100MB的文件，如果用4个线程，每个线程大约下载25MB。
创建占位文件： 在下载开始前，先创建一个与目标文件大小相同的空文件，或者一个占位文件。这样可以避免在合并时出现文件大小不一致的问题，也能方便地写入各个线程下载的数据。
定义下载任务： 编写一个函数，作为每个线程的执行体。这个函数接收文件的URL、起始字节、结束字节以及本地文件路径作为参数。它会使用
```
requests.get()
```
方法，并在请求头中加入
```
Range
```
字段（例如
```
Range: bytes=start-end
```
）来请求特定范围的数据。
启动线程： 遍历文件分块列表，为每个分块创建一个
```
threading.Thread
```
实例，并将下载任务函数和相应参数传递给它。启动所有线程。
等待与合并： 使用
```
thread.join()
```
方法等待所有线程完成下载。由于每个线程直接将数据写入到预先创建的占位文件的对应位置，所以严格意义上讲，并不需要额外的“合并”步骤，数据在下载过程中就已经写入到正确的位置了。

下面是一个简化的代码示例：

import requests
import threading
import os

def download_chunk(url, start_byte, end_byte, file_path, part_index):
    """
    下载文件的一个片段
    """
    headers = {'Range': f'bytes={start_byte}-{end_byte}'}
    try:
        response = requests.get(url, headers=headers, stream=True, timeout=10)
        response.raise_for_status() # 检查HTTP请求是否成功

        # 使用'rb+'模式打开文件，定位到起始位置写入
        with open(file_path, 'rb+') as f:
            f.seek(start_byte)
            for chunk in response.iter_content(chunk_size=8192):
                if chunk:
                    f.write(chunk)
        print(f"Part {part_index} ({start_byte}-{end_byte}) downloaded successfully.")
    except requests.exceptions.RequestException as e:
        print(f"Error downloading part {part_index}: {e}")
    except Exception as e:
        print(f"An unexpected error occurred for part {part_index}: {e}")


def multi_thread_download(url, output_path, num_threads=4):
    """
    多线程下载文件
    """
    try:
        # 获取文件总大小
        response = requests.head(url, timeout=5)
        response.raise_for_status()
        file_size = int(response.headers.get('content-length', 0))
        if not file_size:
            print("无法获取文件大小，可能不支持断点续传或文件不存在。")
            return

        print(f"文件总大小: {file_size / (1024 * 1024):.2f} MB")

        # 创建一个与文件大小相同的空文件作为占位
        with open(output_path, 'wb') as f:
            f.truncate(file_size)

        chunk_size = file_size // num_threads
        threads = []
        for i in range(num_threads):
            start_byte = i * chunk_size
            end_byte = start_byte + chunk_size - 1
            if i == num_threads - 1: # 最后一个线程处理剩余部分
                end_byte = file_size - 1

            thread = threading.Thread(target=download_chunk,
                                      args=(url, start_byte, end_byte, output_path, i))
            threads.append(thread)
            thread.start()

        for thread in threads:
            thread.join()

        print(f"文件 '{output_path}' 下载完成。")

    except requests.exceptions.RequestException as e:
        print(f"获取文件信息失败: {e}")
    except Exception as e:
        print(f"下载过程中发生错误: {e}")

# 示例用法
# if __name__ == "__main__":
#     file_url = "http://example.com/large_file.zip" # 替换为你要下载的实际文件URL
#     output_file = "downloaded_file.zip"
#     multi_thread_download(file_url, output_file, num_threads=8)

这个方案提供了一个坚实的基础，但实际应用中，你可能还需要考虑更多的细节，比如下载进度显示、错误重试机制、以及更复杂的线程管理。

立即学习“Python免费学习笔记（深入）”；

如何合理地切分文件块以优化Python多线程下载性能？

文件块的切分策略对多线程下载的性能有着直接且显著的影响。我个人在实践中发现，这并非一个“一刀切”的问题，它需要根据具体场景进行权衡。

首先，最直观的策略是平均分配：将文件总大小除以线程数，每个线程负责下载一个等大的块。这在大多数情况下是一个不错的起点。但问题来了，如果文件特别大，比如几个GB，而线程数又不多，那么每个块依然很大，单个线程的下载时间依然可能很长。反之，如果文件较小，却设置了过多的线程，每个块就变得很小。这会导致频繁的网络连接建立和关闭，以及过多的线程上下文切换开销，反而可能拖慢速度。我曾遇到过一个案例，文件只有几十MB，却开了20个线程，结果比5个线程还慢，原因就在于连接开销超过了并行带来的收益。

那么，如何“合理”呢？我认为可以从以下几个方面考虑：

最小块大小： 设定一个最小的块大小阈值，例如512KB或1MB。如果文件总大小除以线程数后，每个块的大小低于这个阈值，那么应该减少线程数，直到每个块至少达到这个大小。这有助于减少连接建立的频率，并确保每个请求都能传输足够的数据量。
最大块大小： 虽然理论上越大越好，但实际中，如果单个块过大，一旦下载中断，重试的代价就高。同时，如果服务器对单个请求有传输大小限制（虽然不常见，但某些CDN可能会有），过大的块也会导致问题。我通常会限制单个块在50MB到200MB之间，这在多数情况下是一个比较平衡的选择。
线程数量与网络环境： 你的网络带宽是关键。如果带宽有限，再多的线程也无法突破这个瓶颈，甚至可能因为争抢资源而性能下降。我通常会根据经验值来设置线程数，比如4-8个线程对于大多数家庭宽带已经足够。对于高速数据中心网络，可以适当增加到16或32，但很少需要更多。一个简单的做法是，先用少量线程测试，如果CPU或网络利用率不高，再逐步增加。
服务器支持： 确保目标服务器支持HTTP的
```
Range
```
头。大多数现代服务器都支持，但少数老旧或配置特殊的服务器可能不支持，这时多线程下载就无从谈起。在下载前发送一个
```
HEAD
```
请求并检查
```
Accept-Ranges
```
头是一个好习惯。

所以，一个更动态的策略可能是：先根据文件大小和预设的“理想”块大小范围，计算出一个初始的线程数。例如，如果文件是1GB，我们希望每个块大约50MB，那么就需要20个线程。如果计算出的线程数过高（比如超过了32），就限制在最大线程数；如果过低（比如只有1个），就直接用单线程。这比简单地固定线程数要灵活得多。

Python多线程下载中如何处理网络波动与下载中断？

在实际的网络环境中，下载中断和网络波动几乎是不可避免的。我的经验告诉我，一个健壮的下载器必须能优雅地处理这些“不完美”。

首先，超时机制是第一道防线。在

requests.get()

方法中设置

timeout

参数至关重要。我通常会设置一个连接超时（比如5秒）和一个读取超时（比如10-30秒，根据文件大小和网络情况调整）。如果在这个时间内没有响应，

requests

就会抛出

requests.exceptions.Timeout

异常。捕获这个异常，我们就可以知道是连接问题还是数据传输卡住了。

情感家园企业站5.0 多语言多风格版

一套面向小企业用户的企业网站程序！功能简单，操作简单。实现了小企业网站的很多实用的功能，如文章新闻模块、图片展示、产品列表以及小型的下载功能，还同时增加了邮件订阅等相应模块。公告，友情链接等这些通用功能本程序也同样都集成了！同时本程序引入了模块功能，只要在系统默认模板上创建模块，可以在任何一个语言环境（或任意风格）的适当位置进行使用！

下载

其次，重试机制是解决暂时性网络波动的核心。当出现

timeout

、

ConnectionError

（连接断开）或

HTTPError

（服务器返回5xx错误）时，不应该立即放弃。我通常会实现一个简单的重试循环：

import time
import requests

MAX_RETRIES = 5
RETRY_DELAY = 2 # 秒

def robust_download_chunk(...):
    for attempt in range(MAX_RETRIES):
        try:
            # ... (你的下载逻辑，包括requests.get)
            response = requests.get(url, headers=headers, stream=True, timeout=(5, 30))
            response.raise_for_status()
            # ... (写入文件逻辑)
            print(f"Part {part_index} downloaded successfully on attempt {attempt + 1}.")
            return True # 成功下载
        except (requests.exceptions.RequestException, IOError) as e:
            print(f"Error downloading part {part_index} (attempt {attempt + 1}/{MAX_RETRIES}): {e}")
            if attempt < MAX_RETRIES - 1:
                time.sleep(RETRY_DELAY * (attempt + 1)) # 指数退避
            else:
                print(f"Failed to download part {part_index} after {MAX_RETRIES} attempts.")
                return False # 最终失败
    return False # 最终失败

这里我加入了指数退避的策略，即每次重试的间隔时间逐渐增加，给网络和服务器一个恢复的时间。

最后，也是最关键的，是断点续传能力。这要求我们的下载器能够记住每个块的下载进度。当一个线程下载中断后，它应该能够从上次中断的地方继续下载，而不是从头开始。这需要：

文件完整性检查： 在多线程环境下，最直接的方式是每个线程下载完成后，更新一个全局的状态（例如一个共享列表或字典），记录哪些块已经完成。更高级的做法是使用一个单独的元数据文件（
```
.part
```
文件），记录每个块的起始、结束位置以及已下载的字节数。
HTTP Range头利用： 当一个线程需要续传时，它不再简单地从
```
start_byte
```
开始，而是从
```
last_downloaded_byte + 1
```
开始，再次利用
```
Range: bytes=last_downloaded_byte+1-end_byte
```
头发送请求。
文件写入模式： 使用
```
'rb+'
```
模式打开文件，并用
```
f.seek()
```
定位到正确的写入位置。这确保了即使某个线程中断，其他线程下载的数据也不会被覆盖，同时中断的线程恢复后也能从正确的位置继续写入。

实现断点续传会增加代码的复杂性，因为它涉及到状态管理和持久化。在我的实际项目中，我通常会引入一个简单的SQLite数据库或者JSON文件来存储下载任务的状态，包括每个分块的URL、起始字节、当前已下载字节、结束字节以及状态（待下载、下载中、已完成、失败）。这样，即使程序崩溃，重启后也能从上次中断的地方恢复。这不仅提升了用户体验，也大大增加了下载器的鲁棒性。

Python并发下载除了多线程还有哪些策略？

在Python中，实现并发下载文件并非只有多线程一条路。根据不同的场景和需求，我们还有其他强大的并发模型可以选择。我个人在处理大量I/O密集型任务时，会根据具体情况在这几种策略之间做取舍。

多进程（
```
multiprocessing
```
）
- 何时使用： 当你的任务不仅是I/O密集型，还可能涉及到一些CPU密集型的处理（比如下载后立即进行解压、加密等），或者当你需要绕过Python的全局解释器锁（GIL）时，多进程是更好的选择。GIL限制了同一时刻只有一个线程能在CPU上执行Python字节码，这意味着对于纯CPU密集型任务，多线程并不能真正并行利用多核CPU。
- 优点： 真正实现并行，每个进程有独立的内存空间，避免了线程间数据共享的复杂性（但进程间通信需要额外机制）。
- 缺点： 进程创建和销毁的开销比线程大，进程间通信（IPC）相对复杂，内存占用也更高。对于纯粹的I/O任务，如文件下载，由于等待网络响应的时间占主导，GIL的影响并不明显，多进程的优势可能不如多线程或异步IO。
- 应用： 我会用它来下载大量文件，并且每个文件下载后需要进行一些复杂的本地处理，例如图片压缩、视频转码等。
异步I/O（
```
asyncio
```
配合
aiohttp
）
- 何时使用： 这是处理大量并发I/O操作（包括网络请求）的“现代”Python方式，尤其适合于当你需要同时管理成百上千甚至上万个并发连接时。它基于事件循环（event loop）和协程（coroutine），实现了单线程下的非阻塞I/O。
- 优点： 极高的并发效率，内存占用低，上下文切换开销小。对于网络下载这种I/O密集型任务，
```
asyncio
```
  能最大化利用I/O等待时间，在等待一个文件下载时，可以去处理另一个文件的下载请求。
- 缺点： 学习曲线相对较陡峭，代码风格与传统的同步/多线程编程有较大差异（需要使用
```
async
```
  和
```
await
```
  关键字）。并非所有库都原生支持
```
asyncio
```
  ，可能需要寻找对应的异步版本（如
```
aiohttp
```
  代替
```
requests
```
  ）。
- 应用： 我在构建高性能网络爬虫、API网关或者需要同时从多个源下载大量小文件时，会优先考虑
```
asyncio
```
  。例如，从一个图床下载几千张图片，
```
asyncio
```
  的效率远超多线程。

总结一下我的选择逻辑：

简单的少量文件下载，对性能要求不高： 多线程（
```
threading
```
+
```
requests
```
）通常足够，代码实现相对直观。
需要下载大量文件，且每个文件下载后有CPU密集型处理： 多进程（
```
multiprocessing
```
）是更好的选择。
需要同时处理海量并发连接，极致的I/O效率： 异步I/O（
```
asyncio
```
+
```
aiohttp
```
）是首选，但需要投入学习成本。