蚂蚁技术研究院正式发布 llada2.0 系列离散扩散大语言模型（dllm），并同步公开其核心技术报告，称其为“业界首个达到 100b 参数规模的扩散式语言模型”。
LLaDA2.0 包含基于 MoE 架构的两个版本：16B（mini）与 100B（flash），首次将扩散语言模型的参数量级推进至百亿级别。官方表示，该成果不仅颠覆了业界对扩散模型难以规模化扩展的传统认知，更在代码生成、数学推理及智能体任务等关键场景中，展现出优于同参数量级自回归（AR）模型的实际性能。
依托原创的 Warmup-Stable-Decay（WSD）持续预训练范式，LLaDA2.0 可高效复用已有 AR 模型的知识体系，显著降低从零训练带来的资源消耗。进一步融合置信度感知并行训练（CAP）——一种超越常规监督微调（SFT）的方法，以及面向扩散架构优化的 DPO 变体，模型在保障输出质量的前提下，充分发挥扩散模型天然支持并行解码的特性，实现相较典型 AR 模型高达 2.1 倍的推理速度提升。这标志着：在超大规模参数条件下，扩散语言模型不仅具备工程可行性，更兼具更强能力与更高效率。
蚂蚁技术研究院围绕知识理解、数学能力、编程水平、逻辑推理及智能体行为等多个核心维度展开系统性评测。结果表明，LLaDA2.0 在结构化文本生成任务（如代码编写）中优势突出；而在其他通用能力维度上，亦可与当前主流开源 AR 模型保持相当水准。
目前，LLaDA2.0 的完整模型权重（含 16B 与 100B 版本）及配套训练代码均已全面开源：
https://www.php.cn/link/44e99af76e0d3f4e7eb331b3f3ef8e38
https://www.php.cn/link/d52b1dc033ab0c8ac84f3169c5376235
源码下载地址：点击获取
以上就是蚂蚁开源业内首个 100B 扩散语言模型 LLaDA2.0的详细内容，更多请关注php中文网其它相关文章！
每个人都需要一台速度更快、更稳定的 PC。随着时间的推移，垃圾文件、旧注册表数据和不必要的后台进程会占用资源并降低性能。幸运的是，许多工具可以让 Windows 保持平稳运行。
广告Copyright 2014-2025 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号
900
收藏
