美团正式上线LongCat App：开启全模态实时交互时代

11月3日，longcat-flash系列迎来重大升级，全新成员longcat-flash-omni正式发布并全面开源，同时longcat官方app开启公测。当前版本已支持联网搜索、语音通话等核心功能，视频通话等功能将陆续上线；web端也新增了图片与文件上传、语音通话等能力。

☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepSeek R1 模型☜☜☜

据官方介绍，LongCat-Flash-Omni基于LongCat-Flash系列高效的Shortcut-Connected MoE架构（含零计算专家），融合了先进的多模态感知模块和语音重建技术。在总参数量高达5600亿（激活参数为270亿）的规模下，依然实现了低延迟的实时音视频交互，为开发者在多模态应用领域提供了更高效的技术路径。

该模型是业内首个集“全模态覆盖、端到端架构、大参数量下的高效推理”于一体的开源大语言模型，首次在开源生态中实现与闭源全模态模型对标的综合能力。依托创新的架构设计与深度工程优化，LongCat-Flash-Omni可在多模态任务中达成毫秒级响应，有效破解行业长期面临的高延迟推理难题。

具体而言，LongCat-Flash-Omni在一个统一框架内整合了离线多模态理解与实时音视频交互能力，采用完全端到端的设计方案：以轻量级视觉与音频编码器作为多模态输入接口，由大语言模型直接处理原始输入并生成文本与语音token，再通过小型音频解码器还原成自然语音波形，从而实现流畅的低延迟交互体验。所有组件均按流式推理优化设计，视觉编码器与音频编解码器均为约6亿参数的小型模块，延续了LongCat-Flash系列高效能的核心设计理念，在性能与效率之间达到最佳平衡。

▲LongCat-Flash-Omni模型架构

此外，该模型成功突破“大规模参数与实时交互难以共存”的技术瓶颈，在保持5600亿总参数（激活270亿）的庞大结构基础上，借助ScMoE骨干架构、高效多模态编解码器以及“分块式音视频特征交织机制”，实现了高质量、低延迟的音视频处理与流式语音输出。模型支持高达128K tokens的上下文窗口，可持续进行超过8分钟的音视频对话，在长时记忆、多轮交互与时序推理等方面表现突出。

面对全模态训练中各模态数据分布差异显著的挑战，LongCat-Flash-Omni采用了渐进式早期多模融合策略，通过平衡的数据调度与分阶段融合方式，逐步引入文本、音频、视频等多种模态信息，确保整体性能全面提升的同时，不牺牲任何单一模态的表现力。

综合评测显示，LongCat-Flash-Omni在多个全模态基准测试（如Omni-Bench、WorldSense）中达到开源领域的最先进水平（SOTA），在文本、图像、音频、视频等各项能力上均位居前列，真正实现“全模态不降智”。

四维时代AI开放平台

四维时代AI开放平台

66

查看详情

▲LongCat-Flash-Omni 的基准测试性能

文本能力：继承并强化了LongCat-Flash系列原有的强大文本基础，在多个领域持续领先。相比前代版本，不仅未出现性能衰减，反而在部分任务中有所提升，验证了其训练策略的有效性，也揭示出多模态协同学习的巨大潜力。

图像理解：在RealWorldQA测评中取得74.8分，与闭源模型Gemini-2.5-Pro相当，优于Qwen3-Omni等开源方案；尤其在多图理解和图文交织任务中表现优异，得益于高质量的图文、多图及视频数据训练。

音频能力：在ASR、TTS、语音续写等多个维度表现出色。指令模型在LibriSpeech、AISHELL-1等ASR任务上超越Gemini-2.5-Pro；S2TT在CoVost2数据集上表现强劲；音频理解在TUT2017、Nonspeech7k等非语音识别任务中达到当前最优；在OpenAudioBench、VoiceBench等音频对话评测中成绩领先，实时交互评分接近闭源模型，类人性指标甚至优于GPT-4o，展现出从基础能力到实际应用的高效转化。

视频理解：在视频到文本任务中表现卓越，短视频理解显著领先现有模型，长视频理解能力与Gemini-2.5-Pro和Qwen3-VL相当。这归功于动态帧采样、分层令牌聚合等先进视频处理策略，以及对长序列建模的强大支持。

跨模态理解：整体性能优于Gemini-2.5-Flash（非思考模式），接近Gemini-2.5-Pro（非思考模式）；在真实场景音视频理解基准WorldSense上，相较其他开源全模态模型优势明显，充分体现了其强大的多模态融合能力，成为当前综合表现最强的开源全模态模型之一。

端到端交互评估：鉴于目前缺乏成熟的实时多模态交互评测体系，LongCat团队自主构建了一套完整评测框架，包含250名用户参与的定量打分与10位专家对200个对话样本的定性分析。结果显示：在自然度与流畅度方面，LongCat-Flash-Omni在开源模型中遥遥领先，得分比Qwen3-Omni高出0.56分；专家分析指出，其在副语言理解、相关性和记忆能力上与顶级模型持平，但在实时性、类人性和准确性方面仍有提升空间，未来将持续优化改进。

以上就是美团正式上线LongCat App：开启全模态实时交互时代的详细内容，更多请关注php中文网其它相关文章！