首页 > 新闻 > IT新闻 > 正文

RWKV7-G1a 1.5B 开源发布,新推理风格和长度控制,效果显著增强

花韻仙語
发布: 2025-09-25 20:22:00
原创
1276人浏览过

2025 年 9 月 22 日, rwkv7-g1a 1.5b 推理模型(reasoning model)正式开源发布。

RWKV7-G1a 1.5B 从 RWKV7-G1 1.5B 继续训练 1T 高质量数据,显著提升模型能力,且加入新的推理风格,可设置推理长度。

模型客观指标评测

英语和多语言能力

RWKV7-G1a 1.5B 的基础英语和多语言能力均强于同规模的开源模型:

RWKV7-G1a 1.5B 开源发布,新推理风格和长度控制,效果显著增强

RWKV7-G1a 1.5B 的 MMLU 为 50.2%(RWKV7-G1 1.5B 为 48.2%)。注意这是没有使用任何 mid-training 和 post-training 的真实基底模型成绩。

我们正在训练 RWKV7-G0 13.3B,在训练 63% 时 MMLU 已达 71.4%。预计十月发布。

无法作弊的评测

Uncheatable Eval 是"无法作弊的评测",它使用最新的论文/新闻/代码/小说等实时数据,测试压缩率("压缩即智能"),评估基底语言模型的真实语言建模能力和泛化能力。

RWKV7-G1a 1.5B 的 Uncheatable Eval 显著提升,已非常接近 1.7B 参数的 Qwen3-1.7B-Base。

RWKV7-G1a 1.5B 开源发布,新推理风格和长度控制,效果显著增强

多种推理风格

RWKV7-G1a 1.5B 加入了一种新推理风格,通过在问题后加入【 think】引导。

新推理风格

新推理风格的提示词格式:

User: USER_PROMPT think

Assistant: <think

登录后复制

注意在 USER_PROMPT 后的【 think】和前文之间必须有恰好一个空格。如果不添加【 think】,模型会以默认推理风格进行思考。

下面是 RWKV7-G1a 1.5B 使用新推理风格的效果,注意此时它会使用英语思考

  • 非技术问题 RWKV7-G1a 1.5B 开源发布,新推理风格和长度控制,效果显著增强

  • 技术问题 RWKV7-G1a 1.5B 开源发布,新推理风格和长度控制,效果显著增强

新推理风格,短思考

通过【 think a bit】可缩短新推理风格的思考长度。提示词格式:

User: USER_PROMPT think a bit

Assistant: <think

登录后复制

  • 非技术问题 RWKV7-G1a 1.5B 开源发布,新推理风格和长度控制,效果显著增强

  • 技术问题 RWKV7-G1a 1.5B 开源发布,新推理风格和长度控制,效果显著增强

新推理风格,长思考

通过【 think a lot】可增加新推理风格的思考长度。提示词格式:

User: USER_PROMPT think a lot

Assistant: <think

登录后复制

这里的新推理风格和长度控制,仅适用于 2025 年 9 月 22 日及之后发布的 RWKV7-G 系列模型(从 RWKV7-G1a 1.5B 开始)。我们会陆续升级各个尺寸的模型。例如,几天后发布 RWKV7-G1a 2.9B。

"假"思考模式

最后,对于所有 RWKV7-G 系列模型,通过在提示中加入空 think 标签,可以模拟一个"已完成思考"的上下文,引导模型生成有结构和逻辑的回复。

提示词格式:

User: USER_PROMPT

Assistant: <think>
</think

登录后复制

  • 非技术问题 RWKV7-G1a 1.5B 开源发布,新推理风格和长度控制,效果显著增强

  • 技术问题 RWKV7-G1a 1.5B 开源发布,新推理风格和长度控制,效果显著增强

解码参数推荐

RWKV 的运行工具均支持调整模型的解码参数,您可以调整解码参数适应不同任务的特点。

下面是推荐的解码参数:

模式 Temp Top-p Presence Penalty Frequency Penalty Penalty Decay 主要特点与适用场景
默认 1.0 0.3 0.5 0.5 0.996 默认的推荐解码参数
综合 1.0 0.3 2 0.2 0.99 另一种推荐解码参数
创意 0.6 0.6 ~ 0.8 2 0.2 0.99 思维发散,想象力强
保守 0.3 0.3 0 0 0.99 适合数学和机械任务
固定 0.2 0 0 0 0.99 最保守的输出

如果你对这些解码参数的含义不熟悉,可以参考 RWKV 官网关于解码参数的文档:RWKV 的解码参数

模型下载

下载 RWKV7-G1a 1.5B 模型:

  • Hugging Face:https://huggingface.co/BlinkDL/rwkv7-g1/tree/main
  • 魔搭社区:https://modelscope.cn/models/RWKV/rwkv7-g1/files
  • WiseModel:https://wisemodel.cn/models/rwkv4fun/RWKV-7-G1/file

如何使用 RWKV 模型

可以使用 RWKV Runner、Ai00、RWKV pip 等推理工具本地部署 RWKV 模型。

此外,RWKV 模型也适配了 llama.cpp、ollama 等热门的模型推理工具。

由于 RWKV7-G1a 1.5B 是新模型,目前建议使用 RWKV Runner 以保证得到正确结果。

可以在 RWKV 官网 - 模型推理教程中查看上述推理工具的使用教程。

加入 RWKV 社区

欢迎大家加入 RWKV 社区,可以从 RWKV 中文官网了解 RWKV 模型,也可以加入 RWKV 论坛、QQ 频道和 QQ 群聊,一起探讨 RWKV 模型。

  • ? RWKV 中文文档:https://www.rwkv.cn
  • ? RWKV 论坛:https://community.rwkv.cn/
  • ? QQ 频道:https://pd.qq.com/s/9n21eravc
  • ? BiliBili 视频教程:https://space.bilibili.com/3546689096910933

欢迎大家基于 RWKV-7 进行创业、科研,我们也会为基于 RWKV 的项目提供技术支持。

如果您的团队正在基于 RWKV 创业或开展研究,请联系我们!(在"RWKV元始智能"微信公众号留言您的联系方式,或发送邮件到"contact@rwkvos.com"。)

源码地址:点击下载

以上就是RWKV7-G1a 1.5B 开源发布,新推理风格和长度控制,效果显著增强的详细内容,更多请关注php中文网其它相关文章!

相关标签:
最佳 Windows 性能的顶级免费优化软件
最佳 Windows 性能的顶级免费优化软件

每个人都需要一台速度更快、更稳定的 PC。随着时间的推移,垃圾文件、旧注册表数据和不必要的后台进程会占用资源并降低性能。幸运的是,许多工具可以让 Windows 保持平稳运行。

下载
来源:php中文网
本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn
最新问题
开源免费商场系统广告
热门教程
更多>
最新下载
更多>
网站特效
网站源码
网站素材
前端模板
关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新 English
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送
PHP中文网APP
随时随地碎片化学习

Copyright 2014-2025 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号