2025 年 9 月 24 日,rwkv7-g1a 2.9b 推理模型正式开源,进一步推动纯 rnn 架构在语言理解与生成方面的能力边界。
该模型基于 RWKV7-G1 2.9B 持续训练了 1T tokens 的高质量数据,在多个维度上实现显著性能跃升。
在同参数规模的开源模型中,RWKV7-G1a 2.9B 在基础英语和跨语言任务上的表现更为出色:

作为一个未经针对性“刷榜”优化的纯预训练基座模型,其 MMLU 分数提升至 61.1%,MMLU Pro 达到 31.5%(此前版本分别为 58.0% 和 25.8%)。
Uncheatable Eval 是一种“防作弊”的评测方式,采用最新论文、新闻、代码、小说等实时内容,通过衡量模型对新信息的压缩能力(即“压缩即智能”理论),来检验语言模型的真实泛化水平。
在此项测试中,RWKV7-G1a 2.9B 表现持续进步,超越当前所有其他 3B 级别的开源模型。

建议使用保守解码设置进行翻译任务:temp=0.2,topp=0.2,presence=0,frequency=0,decay=0.996
支持多种语言同步互译:

推荐代码生成使用以下参数:temp=0.3,topp=0.3,presence=0,frequency=0,decay=0.996
解决最长公共子序列问题:

实现 LRU 缓存结构设计:

解答数学题建议配置:temp=0.3,topp=0.3,presence=0,frequency=0,decay=0.996
抛物线相关计算:

多项式方程处理:

物理类问题推荐相同保守参数:temp=0.3,topp=0.3,presence=0,frequency=0,decay=0.996
计算火星表面重力加速度:

创作类任务可启用更开放的采样策略:temp=0.6,topp=0.7,presence=2,frequency=0.2,decay=0.99(注意为 0.99)
古体诗创作示例:

可从以下平台下载 RWKV7-G1a 2.9B 模型权重:
我们提供多种在线体验入口以及本地部署方案,帮助用户快速上手。
为了让社区便捷体验 G1a 版本,我们推出了聊天界面的在线 demo:
该对话系统由社区成员 @Leon 开发,并在 GitHub 项目 web-rwkv-realweb 中完全开源。
也可通过官方 Gradio Demo 尝鲜 RWKV7-G1a 2.9B:
此外,RWKV7-G1a 2.9B 支持新型推理范式(含长度控制功能),详情参见:RWKV7-G1a 1.5B 开源发布,新推理风格和长度控制,效果显著增强
支持使用 RWKV Runner、Ai00、pip 包等方式本地加载模型。
同时,RWKV 已兼容主流推理框架如 llama.cpp 和 ollama。
鉴于 RWKV7-G1a 2.9B 为最新发布版本,目前推荐优先使用 RWKV Runner 以确保输出稳定性。
详细教程请访问 RWKV 官网 - 模型推理文档页面。
欢迎加入 RWKV 开发生态!您可以通过以下渠道了解模型动态、参与讨论或获取技术支持:
我们鼓励基于 RWKV-7 的科研探索与创业实践,并将为相关项目提供必要的技术协助。
若您的团队正基于 RWKV 展开研究或产品开发,请联系我们!(可通过“RWKV元始智能”微信公众号留言联系方式,或发送邮件至 contact@rwkvos.com)
源码仓库:https://www.php.cn/link/1f1eb1eaff40d5b16011f0d5c49fbf130
以上就是RWKV7-G1a 2.9B 推理模型开源发布,继续推进纯 RNN 模型的思考能力的详细内容,更多请关注php中文网其它相关文章!
每个人都需要一台速度更快、更稳定的 PC。随着时间的推移,垃圾文件、旧注册表数据和不必要的后台进程会占用资源并降低性能。幸运的是,许多工具可以让 Windows 保持平稳运行。
Copyright 2014-2025 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号