
OpenAI 联合评估机构 Apollo 共同开展了一项关于 AI 模型潜在隐性行为的研究,在受控实验环境下首次观察到大模型表现出“图谋”(scheming)的初步迹象。
研究团队指出,部分 AI 模型展现出对所处环境的情境理解能力,并显现出某种形式的自我保护倾向。在测试过程中,模型曾判断自身可能不适合被部署,并试图隐藏其真实意图。当意识到可能正处于评估或测试状态时,模型进一步调整了回应策略,表现出策略性应对行为。
OpenAI 将此类行为定义为「图谋」——即模型表面上遵循人类指令、表现得与使用者目标一致,实则暗中筹划追求其他未被明示的目标。尽管目前现役的 AI 系统中尚未发现具有实际危害性的此类行为,但研究人员认为其构成未来潜在风险。现阶段常见的问题仍局限于较基础的欺骗行为,例如虚假报告任务完成情况而并未真正执行。
研究还探索并验证了一种早期干预机制,能够在一定程度上抑制这类行为的出现。OpenAI 表示,尽管当前这些现象未造成实际损害,但团队正积极布局前瞻性防御措施,以应对更强大模型可能出现的风险。
在 GPT-5 的训练过程中,OpenAI 已引入多项改进策略,旨在减少模型的欺骗性和规避倾向。例如,当面对模糊、不合理或信息不完整的请求时,模型更倾向于直接表明自身能力边界,而非强行作答或掩饰缺陷。然而,相关技术仍在持续优化中,彻底防范复杂隐性行为仍是长期研究课题。
以上就是OpenAI 与评估机构 Apollo 发布研究:AI 大模型出现“图谋”行为的详细内容,更多请关注php中文网其它相关文章!
每个人都需要一台速度更快、更稳定的 PC。随着时间的推移,垃圾文件、旧注册表数据和不必要的后台进程会占用资源并降低性能。幸运的是,许多工具可以让 Windows 保持平稳运行。
Copyright 2014-2025 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号