Python如何实现视频字幕生成？语音识别集成-Python教程-PHP中文网

Python如何实现视频字幕生成？语音识别集成

看不見的法師

发布： 2025-08-06 13:17:01

原创

1099人浏览过

使用python实现视频字幕生成需先通过语音识别将音频转为文字，推荐使用whisper模型进行离线识别或调用google cloud、assemblyai等api；2. 利用ffmpeg从视频中提取音频文件（如audio.mp3），再用whisper加载模型并转录，获取包含时间戳的文本片段；3. 将识别结果中的时间戳和文本转换为srt格式字幕文件，通过python函数按序写入序号、时间轴（hh:mm:ss,mmm --> hh:mm:ss,mmm）和对应文字；4. 使用ffmpeg命令将生成的字幕文件嵌入原视频：ffmpeg -i video.mp4 -vf "subtitles=subtitle.srt" output.mp4，完成字幕合并；5. 为提升准确率，可优化音频质量、选择合适语音识别引擎、使用自定义语言模型并进行人工校对；6. 若时间轴不准确，可通过脚本调整整体偏移、手动修正或检查音视频同步问题；7. 字幕样式可通过字体、大小、颜色、阴影、描边及vtt支持的css进行美化，确保清晰可读且不遮挡画面重要内容。整个流程完整实现从视频到精准同步字幕的自动化生成。

Python如何实现视频字幕生成？语音识别集成

Python实现视频字幕生成，核心在于语音识别和时间轴对齐。简单来说，就是把视频里的声音变成文字，再把文字对应到视频画面上。

解决方案

语音识别（Speech-to-Text, STT）： 这是第一步，也是最关键的一步。你需要一个靠谱的语音识别引擎。

立即学习“Python免费学习笔记（深入）”；
- Google Cloud Speech-to-Text API: 这是个强大的选择，准确率高，支持多种语言，但需要付费。你需要注册Google Cloud账号，开通API服务，获取API Key。
- AssemblyAI: 也是一个不错的选择，提供类似的语音识别服务，同样需要付费。
- Whisper (OpenAI): 如果预算有限，或者想离线运行，Whisper是个好选择。它是OpenAI开源的语音识别模型，效果很棒，而且免费。你可以用
```
pip install openai
```
  登录后复制
  安装，然后用Python代码调用。
```
import whisper

model = whisper.load_model("base") # 可以选择不同的模型大小，例如 "small", "medium", "large"
result = model.transcribe("audio.mp3") # audio.mp3是你的音频文件
print(result["text"])
```
登录后复制
这里，
```
audio.mp3
```
登录后复制
是你的音频文件，你需要先从视频中提取音频。可以用
```
ffmpeg
```
登录后复制
来做：
```
ffmpeg -i video.mp4 audio.mp3
```
登录后复制

字幕文件生成 (SRT/VTT): 语音识别之后，你会得到一大段文字，但字幕需要有时间轴信息，也就是每句话应该在视频的哪个时间点显示。

时间戳获取: 语音识别API通常会返回每个词或者句子的时间戳。Whisper也会返回每个片段的时间信息。
SRT/VTT格式: SRT和VTT是常见的字幕格式。SRT格式很简单，长这样：

1
00:00:00,000 --> 00:00:05,000
这是第一句字幕。

2
00:00:05,000 --> 00:00:10,000
这是第二句字幕。

登录后复制

VTT格式类似，但更灵活，支持更多样式。

Python代码生成SRT: 你可以用Python代码把语音识别结果和时间戳信息转换成SRT格式。

def create_srt(segments, output_file="subtitle.srt"):
    with open(output_file, "w", encoding="utf-8") as f:
        for i, segment in enumerate(segments):
            start_time = segment['start']
            end_time = segment['end']
            text = segment['text']

            start_time_str = time.strftime('%H:%M:%S,%03d', time.gmtime(start_time))
            end_time_str = time.strftime('%H:%M:%S,%03d', time.gmtime(end_time))

            f.write(f"{i+1}\n")
            f.write(f"{start_time_str} --> {end_time_str}\n")
            f.write(f"{text}\n\n")

import time
# 假设result是whisper的输出
segments = result["segments"]
create_srt(segments)

登录后复制

视频和字幕合并: 最后一步是把字幕文件和视频合并。

EasySub – AI字幕生成翻译工具
EasySub 是一款在线 AI 字幕生成器。它提供AI语音识别、AI字幕生成、AI字幕翻译，本来就很简单的视频剪辑。

40

查看详情
- FFmpeg: 最常用的工具还是FFmpeg。
```
ffmpeg -i video.mp4 -vf "subtitles=subtitle.srt" output.mp4
```
登录后复制
这条命令会把
```
subtitle.srt
```
登录后复制
字幕文件嵌入到
```
video.mp4
```
登录后复制
视频中，生成
```
output.mp4
```
登录后复制
。