0

0

fastapi 如何实现大文件分片上传 + 断点续传支持

冰川箭仙

冰川箭仙

发布时间:2026-01-22 19:59:03

|

878人浏览过

|

来源于php中文网

原创

FastAPI可通过HTTP协议特性与后端状态管理实现分片上传和断点续传:1.客户端按固定大小切片并携带file_id、chunk_index等元数据上传;2.FastAPI接口接收分片并用Redis记录进度;3.通过/status接口查询已传分片以支持断点续传;4.所有分片完成后异步合并并校验清理。

fastapi 如何实现大文件分片上传 + 断点续传支持

FastAPI 本身不直接提供分片上传和断点续传能力,但可以通过标准 HTTP 协议特性(如 Content-RangeETag、自定义请求头) + 后端状态管理(如 Redis 或数据库记录上传进度)来完整实现。核心在于:客户端按固定大小切片、逐片上传、服务端校验并合并,同时记录每片是否已接收。

1. 客户端分片与上传协议设计

前端需将大文件切分为固定大小的 Blob(如 5MB/片),并为每次请求携带以下信息:

  • file_id:全局唯一标识该次上传(如 UUID),用于关联所有分片
  • chunk_index:当前分片序号(从 0 开始)
  • total_chunks:总分片数
  • filename:原始文件名(可选,用于最终合并时命名)
  • Content-Range:标准格式 bytes 0-5242879/10485760,便于服务端定位偏移

推荐使用 fetchaxios 发送 PUT 请求(比 POST 更符合幂等性语义),并设置 headers: { 'X-File-ID': 'xxx', 'X-Chunk-Index': '0' }

2. FastAPI 接口:接收单个分片

UploadFile 接收二进制流,结合 Redis 记录上传状态(推荐使用 aioredis):

示例代码(简化版):

from fastapi import FastAPI, UploadFile, File, Header, HTTPException
from redis import asyncio as aioredis
import os

app = FastAPI() redis = aioredis.from_url("redis://localhost")

@app.put("/upload/chunk") async def upload_chunk( file: UploadFile = File(...), x_file_id: str = Header(...), x_chunk_index: int = Header(...), x_total_chunks: int = Header(...), content_range: str = Header(...) ):

解析 Content-Range 获取 offset 和 total_size(可选)

if not content_range.startswith("bytes "):
    raise HTTPException(400, "Missing or invalid Content-Range")

# 存储分片到临时目录(如 /tmp/uploads/{file_id}/{index})
chunk_dir = f"/tmp/uploads/{x_file_id}"
os.makedirs(chunk_dir, exist_ok=True)
chunk_path = os.path.join(chunk_dir, str(x_chunk_index))

with open(chunk_path, "wb") as f:
    while chunk := await file.read(8192):
        f.write(chunk)

# 记录该分片已接收(Redis Set 或 Hash)
await redis.sadd(f"upload:{x_file_id}:chunks", str(x_chunk_index))
await redis.hset(f"upload:{x_file_id}:meta", mapping={
    "filename": file.filename,
    "total_chunks": str(x_total_chunks),
    "size": str(file.size)
})

return {"status": "ok", "chunk": x_chunk_index}

装修公司企业网站源码2.0
装修公司企业网站源码2.0

装修公司源码,采用DIV+CSS布局,首页顶部采用了超大宽屏banner焦点图切换,带伸缩功能的导航条。首页信息展示量大,有利于SEO优化,首页版块包括,导航,焦点图切换,案例,行业动态,装修经验,装修知识。源码支持伪静态,后台开启即可,服务器必须支持rewrite功能,否则无法实现伪静态功能。信息支持二级分类。后台支持信息批量修改,删除,可以支持,视频,图片,附件上传。

下载

3. 断点续传支持:查询已上传分片

客户端在开始上传前,先调用接口获取已成功上传的分片列表,跳过重传:

@app.get("/upload/status")
async def get_upload_status(x_file_id: str = Header(...)):
    # 查询 Redis 中已接收的分片索引
    chunks = await redis.smembers(f"upload:{x_file_id}:chunks")
    meta = await redis.hgetall(f"upload:{x_file_id}:meta")
return {
    "uploaded_chunks": sorted([int(c) for c in chunks]),
    "total_chunks": int(meta.get(b"total_chunks", b"0")),
    "filename": meta.get(b"filename", b"").decode()
}

客户端根据返回的 uploaded_chunks 列表,只上传缺失的索引分片即可实现断点续传。

4. 合并分片 & 清理临时文件

当所有分片接收完成(len(uploaded_chunks) == total_chunks),触发合并逻辑:

  • chunk_index 顺序读取所有临时文件,拼接写入目标路径
  • 校验最终文件 MD5(可选,防止传输损坏)
  • 删除 Redis 中的上传元数据和临时分片目录
  • 返回最终文件 URL 或 ID

合并操作建议异步执行(如用 BackgroundTasks 或 Celery),避免阻塞主请求。注意加锁(如 Redis Lock)防止并发合并同一文件。

相关专题

更多
Python FastAPI异步API开发_Python怎么用FastAPI构建异步API
Python FastAPI异步API开发_Python怎么用FastAPI构建异步API

Python FastAPI 异步开发利用 async/await 关键字,通过定义异步视图函数、使用异步数据库库 (如 databases)、异步 HTTP 客户端 (如 httpx),并结合后台任务队列(如 Celery)和异步依赖项,实现高效的 I/O 密集型 API,显著提升吞吐量和响应速度,尤其适用于处理数据库查询、网络请求等耗时操作,无需阻塞主线程。

27

2025.12.22

硬盘接口类型介绍
硬盘接口类型介绍

硬盘接口类型有IDE、SATA、SCSI、Fibre Channel、USB、eSATA、mSATA、PCIe等等。详细介绍:1、IDE接口是一种并行接口,主要用于连接硬盘和光驱等设备,它主要有两种类型:ATA和ATAPI,IDE接口已经逐渐被SATA接口;2、SATA接口是一种串行接口,相较于IDE接口,它具有更高的传输速度、更低的功耗和更小的体积;3、SCSI接口等等。

1050

2023.10.19

PHP接口编写教程
PHP接口编写教程

本专题整合了PHP接口编写教程,阅读专题下面的文章了解更多详细内容。

86

2025.10.17

php8.4实现接口限流的教程
php8.4实现接口限流的教程

PHP8.4本身不内置限流功能,需借助Redis(令牌桶)或Swoole(漏桶)实现;文件锁因I/O瓶颈、无跨机共享、秒级精度等缺陷不适用高并发场景。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

457

2025.12.29

java接口相关教程
java接口相关教程

本专题整合了java接口相关内容,阅读专题下面的文章了解更多详细内容。

11

2026.01.19

go语言 数组和切片
go语言 数组和切片

本专题整合了go语言数组和切片的区别与含义,阅读专题下面的文章了解更多详细内容。

46

2025.09.03

go语言 数组和切片
go语言 数组和切片

本专题整合了go语言数组和切片的区别与含义,阅读专题下面的文章了解更多详细内容。

46

2025.09.03

常用的数据库软件
常用的数据库软件

常用的数据库软件有MySQL、Oracle、SQL Server、PostgreSQL、MongoDB、Redis、Cassandra、Hadoop、Spark和Amazon DynamoDB。更多关于数据库软件的内容详情请看本专题下面的文章。php中文网欢迎大家前来学习。

976

2023.11.02

Golang 性能分析与pprof调优实战
Golang 性能分析与pprof调优实战

本专题系统讲解 Golang 应用的性能分析与调优方法,重点覆盖 pprof 的使用方式,包括 CPU、内存、阻塞与 goroutine 分析,火焰图解读,常见性能瓶颈定位思路,以及在真实项目中进行针对性优化的实践技巧。通过案例讲解,帮助开发者掌握 用数据驱动的方式持续提升 Go 程序性能与稳定性。

9

2026.01.22

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
进程与SOCKET
进程与SOCKET

共6课时 | 0.3万人学习

Redis+MySQL数据库面试教程
Redis+MySQL数据库面试教程

共72课时 | 6.4万人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号