Radical Numerics 开源 30B 参数 RND1

ai 研究组织 radical numerics 推出了 rnd1-base，这是目前规模最大的开源扩散语言模型，总参数量高达30b，其中每次推理仅激活3b参数，依托稀疏专家混合（moe）架构实现高效计算。该模型不仅在多项基准测试中表现优异，还全面公开了模型权重、训练细节与推理代码，致力于推动扩散语言模型在后训练和推理优化方向的研究进程。

RND1-Base 的构建基于 Qwen3-30BA3B 这一自回归基础模型，通过连续的预训练过程顺利迁移到扩散式生成范式。迁移过程中引入了双向掩码机制以及分层学习率策略，有效保留原始模型的知识能力，并采用最大达8M token的大批量训练方式提升训练稳定性，最终在500B token的数据规模上完成预训练。这一方法避免了从头训练的巨大开销，展示了 Radical Numerics 在模型再利用方面的前沿探索。

不同于传统自回归模型逐token顺序生成文本的方式，RND1 将文本生成建模为类似图像去噪的扩散过程，能够并行地对完整序列进行逐步去噪优化，支持双向注意力结构。这种机制大幅增强了生成过程的可控性与灵活性，同时显著减少推理时间，尤其适用于需要深度逻辑推理和复杂代码生成的任务场景。

在主流通用评测基准中，RND1-Base 展现出领先性能，超越此前开源的扩散语言模型如 Dream-7B 和 LLaDA-8B。具体表现为：MMLU 多任务语言理解得分 57.2%，GSM8K 数学推理达到 72.1%，MBPP 编程任务得分为 51.3%。这些结果覆盖了推理能力、STEM 领域及程序生成等多个维度，验证了其在继承自回归模型优势的基础上，成功发挥扩散架构的独特潜力。

怪兽AI数字人

数字人短视频创作，数字人直播，实时驱动数字人

44

查看详情

得益于其稀疏激活设计，RND1-Base 在保持30B总参数规模的同时，仅动态调用3B活跃参数，极大提升了推理效率，具备良好的工业部署可行性。尽管当前版本尚未经过精细化后训练，在贪婪解码模式下偶有重复输出现象，但项目已集成 FlashInfer 与 SGLang 推理后端，为后续高性能推理迭代提供了坚实基础。

Radical Numerics 自称为面向未来的AI实验室，专注于打造可递归自我进化的AI系统。RND1 正是其实现“AI自主改进AI”愿景的关键一步——借助自动化AI研究平台，使模型本身参与下一代系统的优化设计。团队成员来自 DeepMind、Meta、Liquid 及斯坦福等世界顶级科研机构，致力于推动人工智能在科学发现与产业应用中的深层变革。

此次开源 RND1-Base 的核心目标是激发社区对扩散语言模型在推理加速与后训练技术上的深入探索。当前，语言领域的扩散模型正由实验探索迈向实际应用，尤其在长序列并行生成方面展现出独特优势。业界普遍认为，这一发布将促进更多自回归模型向扩散架构迁移的研究尝试，填补高效开源生成模型生态的重要空白。

以上就是Radical Numerics 开源 30B 参数 RND1的详细内容，更多请关注php中文网其它相关文章！