全面评估多模态模型视频 OCR 能力，Gemini 准确率仅 73.7%

多模态大模型（mllm）在静态图像上已展现出强大的光学字符识别（ocr）能力，可以精准识别和理解图像中的文字内容。

不过，当应用范围扩展到动态视频时，即使是当下最先进的模型也遇到了巨大的难题。

MME-VideoOCR 致力于全面评估并促进 MLLM 在视频 OCR 方面的感知、理解和推理能力。

主要贡献包括：

构建细致的任务体系：

精心规划了10 大任务类型，并进一步细分出25 个独立任务。

评价维度超越基础识别，深入考察时序理解、信息整合及复杂推理等高级能力。

高质量、大规模的数据集：

包含1,464 个精选视频片段，涵盖了不同分辨率、时长与场景。

构建了2,000 条高质量、经人工标注的问答对，保证评测的准确性。

揭示当前 MLLM 的能力边界与限制：

对包括闭源与领先开源模型在内的18 个主流 MLLM 进行了深入评测。

系统分析了各模型在不同视频 OCR 任务中的表现，明确了它们的优势和亟需改进的地方。

即便像 Gemini-2.5 Pro 这样的顶级模型，整体准确率也只有 73.7%，显示出当前 MLLM 在视频 OCR 领域的巨大挑战。

研究背景

视频作为一种信息密度更高、场景更复杂的媒介形式，其 OCR 任务的难度远远超过静态图像：

1 视频中的动态因素如运动模糊、光影变化、视角切换以及复杂的时序关联等，都对 MLLM 的视频文字识别构成显著障碍。

2 视频里的文字信息形式多样，可能出现在画面主体、背景场景，也可能以屏幕注释、水印或弹幕的形式存在。这要求模型能够建立稳定的时空视觉 - 文本关联，以便准确识别、整合与理解分布在不同位置与时间段的文字信息。

3 MLLM 不仅需要对视频中的文字进行精确识别，还需要在视觉、时序上下文中完成语义解析与推理判断，以实现对视频整体内容的深层理解。

目前，MLLM 在视频 OCR 领域的实际表现如何？其核心局限性体现在哪些方面？我们应如何系统地评估并推动其发展？这些问题急需一个明确的答案。

MME-VideoOCR 评测框架详解

MME-VideoOCR 的设计核心在于其全面性和深度，旨在评估模型从 " 看到 " 到 " 理解 " 视频文字信息的全方位能力。

数据构建

MME-VideoOCR 的数据集来源于部分高质量数据集和人工采集与构造，经过精心筛选与处理，确保其：

多样性：

涵盖生活记录、影视娱乐、教育科普、体育赛事、游戏直播等多元化场景。

挑战性：

融入运动模糊、低分辨率、复杂背景、艺术字体、文字遮挡、多语言混合等真实世界的复杂因素。

时序性：

特别设计了需要跨帧理解、追踪文字动态、整合时序信息的复杂任务，考验模型的动态处理能力。

考虑到短视频、弹幕视频及 AIGC 视频的逐渐普及，MME-VideoOCR 额外引入了这些特殊类型的视频，增加了数据的全面性。

共收集1,464 个视频和2000条样本。

任务设计

10 大任务类别与25 个子任务紧密围绕视频 OCR 的核心挑战，重点评估模型在以下方面的能力：

基础识别：

在各种视频条件下准确识别文字及其属性。

时空定位：

识别文字在视频中的时间、空间位置。

时序追踪：

理解文字内容随时间的演变。

特殊文本解析：

对表格、图表、文档、公式、手写体等特殊文本进行有效解析。

信息整合：

结合视频上下文与文字进行综合理解。

场景理解：

在特定视频情境下解读文字的深层含义。

复杂推理：

基于视频中的文字信息进行逻辑判断与问答。

模型鲁棒性：

对于 AIGC、对抗样本和超长视频的有效理解。

评估策略

针对不同任务的特点和标准答案可能存在的灵活性，设计了字符串匹配、多选题以及 GPT 辅助评分三种评测方式。

实验发现总结

通过对 18 个主流 MLLM 的深度评测，MME-VideoOCR 揭示了以下关键发现：

整体性能：提升空间巨大

顶尖模型面临挑战：

Gemini-2.5 Pro 虽然表现最佳，但73.7%的准确率表明，即便是 SOTA 模型在应对复杂视频 OCR 任务时也远未达到理想状态。

开源模型差距显著：

当前多数开源 MLLM 在视频 OCR 任务上的表现与顶尖闭源模型相比，存在较大差距，大多数开源模型准确率甚至不足 60%。

能力短板：时序与推理是关键瓶颈

静态易，动态难：

模型处理单帧或短时序的文字信息相对较好，但在需要整合长时序信息、理解文字动态变化时，性能显著下降。

时空推理能力薄弱：

要求结合文字内容及其时空信息进行推理的任务，是当前 MLLM 的普遍弱点。

语言先验依赖问题：模型在进行视频文字理解时，有时会过度依赖其语言模型的先验知识，而未能充分利用视觉信息进行判断。

优化关键：高分辨率与时序信息

实验指出，提供更高分辨率的视觉输入和更完整的时序帧覆盖，对于提升 MLLM 在动态视频场景下的 OCR 性能至关重要。

同时需要注意的是，更多的视觉输入可能会使模型难以专注于目标信息，从而导致准确率的下降，这也对模型的信息提取与处理能力提出了更高的要求。

论文地址：https://www.php.cn/link/21b6529de735e29783012ab4f9ce604d

一键三连「点赞」「转发」「小心心」

欢迎在评论区留下你的想法！

— 完 —

点亮星标

科技前沿进展每日见

以上就是全面评估多模态模型视频 OCR 能力，Gemini 准确率仅 73.7%的详细内容，更多请关注php中文网其它相关文章！