DeepSeek-OCR— DeepSeek团队开源的视觉语言模型-人工智能-PHP中文网

DeepSeek-OCR— DeepSeek团队开源的视觉语言模型

DDD

发布： 2025-10-22 13:47:01

原创

1002人浏览过

☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepSeek R1 模型☜☜☜

DeepSeek

幻方量化公司旗下的开源大模型平台

7009

查看详情

DeepSeek-OCR是什么

deepseek-ocr 是由 deepseek 团队开发的一款先进视觉语言模型，专注于利用光学压缩技术高效处理长文本图像内容。该模型结合了 deepencoder 编码器与 deepseek-3b-moe-a570m 解码器，在保持高分辨率输入的同时，大幅降低视觉标记数量和激活内存消耗。在10倍压缩比下，其ocr识别准确率可达97%；即便在20倍压缩比条件下，仍能维持60%以上的精度表现。模型支持多种分辨率模式，具备强大的多语言文档识别能力，并可精准解析图表、化学式、几何图形等复杂结构，为大规模文档数字化提供高性能解决方案。

DeepSeek-OCR的主要功能

视觉文本压缩：采用创新的视觉模态压缩机制，实现7至20倍的高效压缩，显著减少计算资源开销。
多语言OCR识别：覆盖近100种语言，包括中文、英文、阿拉伯文、僧伽罗文等，适用于全球范围内的文档处理需求。
复杂内容深度理解：能够识别并解析包含表格、数学公式、化学分子式及几何图示在内的多样化内容。
灵活输出格式：支持带原始布局信息的Markdown输出，也提供自由排版的纯文本OCR结果，满足不同应用场景需求。

DeepSeek-OCR的技术原理

整体架构设计：模型由两个核心部分构成：
- DeepEncoder：负责将高分辨率文档图像编码为紧凑的视觉令牌序列。
- DeepSeek-3B-MoE-A570M：作为解码端，将视觉特征映射为自然语言文本。
DeepEncoder 结构详解：
- 双塔协同结构：
  - SAM-base (80M参数)：基于局部窗口注意力机制，擅长捕捉细节纹理，在高分辨率输入下保持低内存占用。
  - CLIP-large (300M参数)：采用全局注意力机制，用于提取整页文档的语义上下文信息。由于前段已进行压缩，有效控制了全局模块的计算负担。
- 16× 卷积压缩模块：位于 SAM 与 CLIP 模块之间，通过两级步长为2的卷积操作，将视觉令牌从4096个减少至256个，实现高达16倍的空间压缩，同时保留关键语义信息。
- 多分辨率适配支持：DeepEncoder 提供多种预设模式以适应不同场景需求：
  - Tiny：512×512 分辨率，输出 64 个视觉令牌。
  - Small：640×640 分辨率，输出 100 个视觉令牌。
  - Base：1024×1024 分辨率，输出 256 个视觉令牌。
  - Large：1280×1280 分辨率，输出 400 个视觉令牌。
  - Gundam：支持动态超高分辨率输入，采用分块处理策略，进一步优化显存使用效率。
解码器：DeepSeek-3B-MoE-A570M：基于稀疏化MoE架构构建，拥有5.7亿激活参数。通过非线性变换函数 fdec:Rn×dlatent→RN×dtext 将压缩后的视觉表示转换为文本序列，其中 n 表示视觉令牌数，N 为生成的文本令牌数，dlatent 和 dtext 分别代表潜空间与文本嵌入维度。