训练1000样本就能超越o1，李飞飞等人画出AI扩展新曲线-人工智能-PHP中文网

训练1000样本就能超越o1，李飞飞等人画出AI扩展新曲线

花韻仙語

发布： 2025-02-05 18:46:14

原创

559人浏览过

deepseek r1 今年一月横空出世，其创新方法和极低的算力需求，给英伟达等巨头带来了巨大冲击，也引发了业界对agi发展路径的深刻反思。通往agi之路并非只有扩大算力规模一条路，更高效的方法才能带来更多创新。

近期，全球众多科技公司和研究团队都在尝试复现DeepSeek。而就在此时，一项名为s1的新方法宣告问世，它大幅提升了AI的推理效率。你或许会感到难以置信！ ^{s1论文作者，斯坦福大学在读博士Niklas Muennighoff指出，DeepSeek R1令人兴奋，但其缺乏OpenAI的测试时间扩展图，且需要海量数据。而s1仅需1000个样本和简单的测试时间干预，即可复现o1的预览扩展和性能。}

这项由斯坦福大学、华盛顿大学等机构主导的研究，探索了一种极简的测试时间扩展（test-time scaling）方法。令人惊叹的是，该方法仅用1000个问题训练模型，就实现了超越o1的强推理性能。

测试时间扩展是一种极具潜力的语言建模新方法，它利用额外的测试时间计算来提升模型性能。OpenAI的o1模型曾展示了这种能力，但其方法并未公开。许多研究都致力于复现o1，尝试了蒙特卡洛树搜索、多智能体等多种方法。而今年一月开源的DeepSeek R1，则通过数百万样本的多阶段强化学习，成功实现了o1级别的性能。

s1研究人员则另辟蹊径，寻求最简化的测试时间扩展方法。他们构建了一个包含1000个问题的s1K数据集，并根据难度、多样性和质量三个标准，与推理轨迹进行匹配。

基于此，研究人员提出了“预算强制”技术，通过强制终止模型的思考过程，或在模型试图结束时多次添加“等待”指令来延长思考时间，从而控制测试时间计算。这有助于模型仔细检查答案，修正错误的推理步骤。

在s1K数据集上，研究人员对Qwen2.5-32B-Instruct语言模型进行了监督微调（使用16块H100 GPU，耗时26分钟），并应用了预算强制技术。最终得到的s1-32B模型，在竞赛数学问题上的表现，比o1-preview高出27%（MATH和AIME24）。^{s1性能与其他大模型的对比。}

论文：《s1: Simple test-time scaling》
论文链接：https://www.php.cn/link/c1160f0432464eb6110ada4a0ac56917
项目链接：https://www.php.cn/link/2d0d322f5fec1cda1b8b4c0020d61c37

测试时间扩展

本文将测试时间扩展方法分为两类：1. 序列扩展（后续计算依赖于先前结果）；2. 并行扩展（计算独立运行）。

本文重点关注序列扩展，因为它更具扩展性，后续计算可以基于中间结果进行迭代优化。

此外，本文还提出了一种新的序列扩展方法及基准测试方法：预算强制（Budget forcing）。该方法通过在测试时强制设定最大或最小思考token数量来实现解码时间干预。具体来说，通过添加思考结束token分隔符和“Final Answer:”来强制设定最大token数量；而通过抑制思考结束token分隔符的生成，并添加“Wait”指令，来强制设定最小token数量。