上海交通大学、复旦大学和上海人工智能实验室的研究团队推出新型医学推理系统meds3,该系统采用自我进化“慢思考”范式,无需预训练和模型蒸馏,即可实现细粒度推理流程验证。
MedS3克服了现有医疗推理模型在长链推理和数据效率方面的不足。现有模型通常依赖于医疗考试题上的模型蒸馏,忽略了推理过程的可验证性和医疗任务的全面覆盖。而MedS3通过策略模型和过程奖励模型(PRM),结合蒙特卡洛树搜索(MCTS)和规则验证,在16个不同数据集上进行迭代优化,仅需7465条种子数据。
论文链接:https://www.php.cn/link/eb32c69f88aa347dcb335d47f0c075e7
项目主页:https://www.php.cn/link/35109f5ad05b4af6bf2f9279ef9d145c
MedS3的创新之处在于其自我进化框架。MCTS生成可验证的推理链,每一步都进行正确性验证并赋予展开值,用于训练策略模型和PRM。PRM引导的投票求和(P-VS)策略选择最终答案,兼顾PRM评判和回复间的语义一致性。
MedS3优势:高数据利用率、支持单步监督、高效支持多任务学习。实验结果显示,MedS3在医疗知识问答、生物医学问答、长上下文问答和医疗诊断任务上显著优于现有模型,成为首个在医疗诊断任务上实现长链推理“R1”的大语言模型框架。 MedS3展现了几乎无界的性能外推潜力,并且MCTS+PRM方法在医疗推理领域展现出显著优势。
MedS3为医疗领域大模型的推理能力带来了显著提升,为未来研究提供了新的方向。 研究团队也指出,将强化学习与MCTS+PRM结合,有望进一步提升模型的泛化能力。
以上就是慢思考助力医学大语言模型突破数据瓶颈:上海交大联合上海AI Lab推出MedS3系统的详细内容,更多请关注php中文网其它相关文章!
Copyright 2014-2025 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号