使用aiogram和Whisper进行Telegram语音消息的内存转录教程

本教程详细介绍了如何在aiogram机器人中，无需将telegram语音消息保存到磁盘，直接利用io.bytesio对象将其高效转录为文本。我们将结合faster-whisper库，演示从获取语音文件到内存下载、模型初始化及最终转录的完整流程，并探讨内存对象的生命周期，确保数据处理的稳定性和效率。

在构建Telegram机器人时，处理用户发送的语音消息并将其转录为文本是一项常见的需求。传统方法可能涉及将语音文件临时保存到磁盘，处理后再删除，但这会引入不必要的磁盘I/O操作，增加系统开销，并可能带来文件清理的复杂性。本教程将介绍一种更高效、更优雅的方法：利用Python的io.BytesIO对象，将语音消息直接下载到内存中进行处理，然后使用faster-whisper库进行转录。

核心思路：内存中的语音处理

io.BytesIO是Python标准库io模块提供的一个类，它允许我们在内存中模拟一个二进制文件。这意味着我们可以像操作磁盘文件一样读写数据，但所有操作都发生在内存中，避免了磁盘读写带来的延迟和资源消耗。

当用户发送语音消息时，aiogram机器人可以获取到该消息的文件ID。通过Telegram Bot API，我们可以下载这个文件。关键在于，我们可以指定io.BytesIO对象作为下载的目标，从而将语音数据直接存储在内存中。

逐步实现语音消息的内存转录

以下是使用aiogram和faster-whisper实现语音消息内存转录的详细步骤和代码示例。

1. 准备工作：安装必要的库

首先，确保你的环境中安装了aiogram和faster-whisper。

表单大师AI

一款基于自然语言处理技术的智能在线表单创建工具，可以帮助用户快速、高效地生成各类专业表单。

221

查看详情

pip install aiogram faster-whisper

2. 导入所需模块

在你的Python文件中，导入必要的模块：

from aiogram import Bot, Dispatcher, types
from aiogram.enums import ParseMode
from faster_whisper import WhisperModel
import io
import asyncio # 用于运行机器人

# 替换为你的Bot Token
BOT_TOKEN = "YOUR_BOT_TOKEN" 

# 初始化Bot和Dispatcher
bot = Bot(BOT_TOKEN, parse_mode=ParseMode.HTML)
dp = Dispatcher()

3. 处理语音消息的函数

创建一个异步函数来处理接收到的语音消息。这个函数将负责从Telegram下载语音数据到内存，并调用faster-whisper进行转录。

# 初始化Whisper模型，可以根据需要选择不同大小的模型
# "tiny"模型速度快但准确率相对较低，"base", "small", "medium", "large"准确率依次提高但速度变慢
# 首次运行时会自动下载模型
whisper_model = WhisperModel("tiny", device="cpu", compute_type="int8") # device="cuda" 如果有GPU

@dp.message(types.Message.voice)
async def handle_voice_message(message: types.Message):
    """
    处理用户发送的语音消息，进行内存转录。
    """
    if not message.voice:
        await message.reply("未检测到语音消息。")
        return

    # 获取语音消息的文件ID
    file_id = message.voice.file_id

    # 获取文件对象信息
    file = await bot.get_file(file_id)
    file_path = file.file_path

    # 创建一个BytesIO对象，用于在内存中存储语音数据
    file_obj = io.BytesIO()

    try:
        # 将语音文件下载到BytesIO对象中
        await bot.download_file(file_path, destination=file_obj)

        # 重置BytesIO对象的读取位置到文件开头
        # 这是非常关键的一步，因为下载操作会将文件指针移动到末尾
        file_obj.seek(0)

        # 使用Whisper模型转录音频
        # audio参数直接接受BytesIO对象
        segments, _ = whisper_model.transcribe(
            audio=file_obj,
            language='zh', # 指定源语言，例如 'en' 代表英语，'zh' 代表中文
            beam_size=5 # 束搜索大小，影响转录质量和速度
        )

        # 合并转录结果的文本段
        transcription_parts = [segment.text for segment in segments]
        transcription = " ".join(transcription_parts)

        print(f"转录结果: {transcription}")
        await message.reply(f"语音转录结果:\n`{transcription}`")

    except Exception as e:
        print(f"转录过程中发生错误: {e}")
        await message.reply(f"语音转录失败: {e}")

4. 运行机器人

async def main() -> None:
    # 启动机器人
    await dp.start_polling(bot)

if __name__ == "__main__":
    asyncio.run(main())

代码解释与注意事项

1. io.BytesIO(): 这是实现内存处理的核心。它创建了一个内存中的二进制缓冲区。
2. bot.download_file(file_path, destination=file_obj): aiogram的download_file方法允许你指定一个destination。当destination是一个BytesIO对象时，文件内容会被直接写入到这个内存缓冲区。
3. file_obj.seek(0): 这是非常重要的一步！ 当download_file完成写入后，file_obj的内部指针会停留在数据的末尾。如果直接将此时的file_obj传递给whisper_model.transcribe，模型将无法读取到任何数据。seek(0)的作用是将文件指针重置到缓冲区的起始位置，确保whisper_model可以从头开始读取语音数据。
4. WhisperModel("tiny", device="cpu", compute_type="int8"):
   • "tiny": 指定使用的Whisper模型大小。faster-whisper支持多种模型，如tiny, base, small, medium, large。模型越大，准确率越高，但推理时间越长，内存占用越大。
   • device="cpu": 指定推理设备。如果你有NVIDIA GPU并安装了CUDA，可以设置为"cuda"以获得更快的推理速度。
   • compute_type="int8": 指定计算类型。int8通常比float16或float32更快且内存效率更高，但可能会略微牺牲准确性。
5. language='zh': 明确指定语音的源语言可以提高转录的准确性。如果语音是混合语言或未知语言，可以省略此参数，让Whisper自动检测，但这可能会增加推理时间。
6. io.BytesIO的内存持久性: 用户担心BytesIO对象是否会“永久”留在内存中或被删除。答案是：只要你的代码中存在对file_obj的引用，它就会保留在内存中。一旦handle_voice_message函数执行完毕，并且没有其他地方引用file_obj，Python的垃圾回收机制会在适当的时候自动回收这部分内存。因此，对于单个请求的语音消息处理，无需担心内存泄露问题。

总结

通过aiogram结合io.BytesIO和faster-whisper，我们可以构建一个高效、无磁盘I/O的Telegram语音消息转录机器人。这种方法不仅简化了文件管理，还提升了处理速度，为用户提供了更流畅的体验。在实际部署时，请根据服务器资源和性能需求选择合适的Whisper模型大小和计算设备。

以上就是使用aiogram和Whisper进行Telegram语音消息的内存转录教程的详细内容，更多请关注php中文网其它相关文章！