Python 文件流式传输的实现技巧-Python教程-PHP中文网

Python 文件流式传输的实现技巧

舞姬之光

发布： 2025-11-20 20:53:25

原创

802人浏览过

流式传输通过分块处理避免内存溢出，适用于大文件读写、网络下载及Web服务。使用yield按块读取文件，结合requests.stream=True实现高效下载，Flask中用生成器响应文件请求，临时处理推荐tempfile安全操作，核心是保持边读边处理，合理设置缓冲区大小以平衡性能与资源消耗。

python 文件流式传输的实现技巧

在处理大文件或网络传输时，流式传输能有效降低内存占用，提升程序稳定性。Python 提供了多种方式实现文件的流式读取和写入，关键在于避免一次性加载整个文件到内存中。

使用分块读取处理大文件

对大文件进行流式读取时，推荐按固定大小的块逐步读取，这样可以控制内存使用量。

示例如下：

def read_file_in_chunks(file_path, chunk_size=8192):
    with open(file_path, 'rb') as f:
        while True:
            chunk = f.read(chunk_size)
            if not chunk:
                break
            yield chunk

登录后复制

这个函数每次返回一个数据块，适合用于上传、哈希计算或转发场景。chunk_size 通常设为 4KB 到 64KB 之间，根据实际 I/O 性能调整。

立即学习“Python免费学习笔记（深入）”；

结合 HTTP 实现文件流式下载

使用 requests 库可以从网络流式下载大文件，避免内存溢出。

操作方法：

import requests
<p>def download_file_stream(url, save_path):
with requests.get(url, stream=True) as r:
r.raise_for_status()
with open(save_path, 'wb') as f:
for chunk in r.iter_content(chunk_size=8192):
f.write(chunk)</p>

登录后复制

设置 stream=True 后，响应内容不会立即下载，而是通过 iter_content 按需获取数据块，适合处理视频、镜像等大文件下载。

现代科技在线研讨会矢量海报

现代科技在线研讨会矢量海报适用于会议或研讨会的宣传材料、信息图表、演示文稿背景、教育课件、企业内部培训资料等与教育和专业交流相关设计的AI格式素材。

查看详情

服务端实现文件流式响应（Flask 示例）

在 Web 服务中，可以通过生成器将本地文件分块返回给客户端，减少内存压力。

from flask import Flask, Response
import os
<p>app = Flask(<strong>name</strong>)</p><p>def generate_file(filename):
with open(filename, 'rb') as f:
while True:
chunk = f.read(8192)
if not chunk:
break
yield chunk</p><p>@app.route('/download')
def download():
file_path = 'large_file.zip'
return Response(
generate_file(file_path),
mimetype='application/octet-stream',
headers={'Content-Disposition': 'attachment; filename=large_file.zip'}
)</p>

登录后复制

Response 接收生成器后会逐步发送数据，适用于提供文件下载接口。

使用 tempfile 进行安全的中间流处理

若需对流数据做临时处理（如解压、转码），建议使用 tempfile 避免手动管理路径和权限问题。

示例：

import tempfile
import shutil
<p>def process_upload_stream(stream):
with tempfile.NamedTemporaryFile(delete=False) as tmpfile:
shutil.copyfileobj(stream, tmpfile, length=64*1024)
temp_path = tmpfile.name</p><pre class='brush:python;toolbar:false;'># 后续处理 temp_path 中的文件
return temp_path

登录后复制

copyfileobj 支持任意类文件对象之间的高效复制，length 参数控制内部缓冲区大小。

基本上就这些。关键是保持“边读边处理”的思路，避免 load all into memory 的模式。合理设置缓冲区大小，兼顾性能与资源消耗。

以上就是Python 文件流式传输的实现技巧的详细内容，更多请关注php中文网其它相关文章！