快手开源新一代旗舰多模态模型 Keye-VL

快手正式推出全新一代旗舰级多模态大模型 keye-vl-671b-a37b，并同步开源其代码。官方表示，该模型具备“善看会想”的能力，在通用视觉理解、视频分析、数学推理等多项核心基准测试中表现卓越，全面领先。

在保留基础模型强大通用性的基础上，Keye-VL-671B-A37B 对视觉感知、跨模态对齐以及复杂推理链条进行了系统性优化与升级，实现了多模态理解与深层推理的全方位突破：更擅长“观察”、更精于“思考”、也更善于“作答”。无论面对日常场景还是高难度任务，均能输出更准确、更稳定的回应。

本模型以 DeepSeek-V3-Terminus 作为语言模型基座，确保了出色的文本推理能力；视觉编码部分则基于 KeyeViT 初始化，源自 KeyeVL1.5 的成熟架构，二者通过 MLP 结构进行连接，实现高效的信息融合。

Keye-VL-671B-A37B 的预训练过程分为三个阶段，逐步构建起强大的多模态理解与推理能力。模型复用了 Keye-VL-1.5 的视觉编码器，该编码器已在包含 1T token 的多模态数据上完成约 8B 规模的对齐训练，具备扎实的基础感知能力。

结合精心筛选的约 300B 高质量预训练数据，项目团队在有限计算资源下高效建立了模型的核心感知体系，兼顾性能与成本。具体训练流程如下：

• 第一阶段：冻结 ViT 和 LLM 参数，仅训练随机初始化的 Projector 模块，初步完成视觉与语言特征的空间对齐。
• 第二阶段：解冻全部参数，开展端到端联合预训练。
• 第三阶段：在更高品质的数据集上实施退火训练，进一步提升模型的细粒度识别和理解能力。

为构建高质量的多模态预训练数据，团队搭建了自动化数据流水线，严格执行过滤、重采样及 VQA 数据增强策略，覆盖 OCR、图表、表格等多种格式，全面提升模型的感知精度与泛化水平。在退火阶段，利用 DeepSeek-V3-Terminus 自动生成思维链（Chain-of-Thought）数据，使模型在深化视觉感知的同时，保持语言模型原有的强大逻辑推理能力。

后训练阶段由三部分组成：监督微调（SFT）、冷启动训练与强化学习，涵盖视觉问答、图表解析、富文本 OCR、数学运算、代码生成、逻辑推理等多元任务。在 SFT 阶段，引入大量多模态与纯文本长思维链数据，既回炼模型的文本能力，又增强其多模态交互表现；冷启动阶段通过推理类数据强化模型的推导能力；强化学习阶段则采用复杂推理任务，提升模型“think”与“no_think”两种模式的表现力，并融入视频数据，显著增强视频内容的理解能力。

评测结果如下所示：

Modoer多功能点评系统2.5 精华版 Build 20110710 GBK

Modoer 是一款以本地分享，多功能的点评网站管理系统。采用 PHP+MYSQL 开发设计，开放全部源代码。因具有非凡的访问速度和卓越的负载能力而深受国内外朋友的喜爱，不局限于商铺类点评，真正实现了多类型的点评，可以让您的网站点评任何事与物，同时增加产品模块，也更好的网站产品在网站上展示。Modoer点评系统 2.5 Build 20110710更新列表1.同步 旗舰版系统框架2.增加 限制图片

0

查看详情

官方指出，未来 Keye-VL 系列将持续夯实底层模型能力，同时深度融合多模态 Agent 功能，迈向“更懂工具、更能解决复杂问题”的智能新形态。重点将加强模型的多轮工具调用能力，使其能在真实任务中自主使用外部工具完成搜索、推理与信息整合；同时推进“think with image”、“think with video”等关键技术方向，让模型不仅能识别图像与视频内容，更能围绕视觉信号展开深度思考与链式推理，从复杂的视觉信息中提取关键洞察。

依托“基础能力 + Agent 能力”双轮驱动，Keye-VL 致力于不断拓展多模态人工智能的能力边界，向更通用、更可靠、更强推理的新一代多模态系统持续迈进。

源码地址：点击下载

以上就是快手开源新一代旗舰多模态模型 Keye-VL的详细内容，更多请关注php中文网其它相关文章！