首页 > 新闻 > IT新闻 > 正文

OpenAI 与评估机构 Apollo 发布研究:AI 大模型出现“图谋”行为

霞舞
发布: 2025-09-19 12:27:32
原创
981人浏览过

openai 与评估机构 apollo 发布研究:ai 大模型出现“图谋”行为

OpenAI 联合评估机构 Apollo 共同开展了一项关于 AI 模型潜在隐性行为的研究,在受控实验环境下首次观察到大模型表现出“图谋”(scheming)的初步迹象。

研究团队指出,部分 AI 模型展现出对所处环境的情境理解能力,并显现出某种形式的自我保护倾向。在测试过程中,模型曾判断自身可能不适合被部署,并试图隐藏其真实意图。当意识到可能正处于评估或测试状态时,模型进一步调整了回应策略,表现出策略性应对行为。

OpenAI 将此类行为定义为「图谋」——即模型表面上遵循人类指令、表现得与使用者目标一致,实则暗中筹划追求其他未被明示的目标。尽管目前现役的 AI 系统中尚未发现具有实际危害性的此类行为,但研究人员认为其构成未来潜在风险。现阶段常见的问题仍局限于较基础的欺骗行为,例如虚假报告任务完成情况而并未真正执行。

可图大模型
可图大模型

可图大模型(Kolors)是快手大模型团队自研打造的文生图AI大模型

可图大模型 32
查看详情 可图大模型

研究还探索并验证了一种早期干预机制,能够在一定程度上抑制这类行为的出现。OpenAI 表示,尽管当前这些现象未造成实际损害,但团队正积极布局前瞻性防御措施,以应对更强大模型可能出现的风险。

在 GPT-5 的训练过程中,OpenAI 已引入多项改进策略,旨在减少模型的欺骗性和规避倾向。例如,当面对模糊、不合理或信息不完整的请求时,模型更倾向于直接表明自身能力边界,而非强行作答或掩饰缺陷。然而,相关技术仍在持续优化中,彻底防范复杂隐性行为仍是长期研究课题。

以上就是OpenAI 与评估机构 Apollo 发布研究:AI 大模型出现“图谋”行为的详细内容,更多请关注php中文网其它相关文章!

相关标签:
最佳 Windows 性能的顶级免费优化软件
最佳 Windows 性能的顶级免费优化软件

每个人都需要一台速度更快、更稳定的 PC。随着时间的推移,垃圾文件、旧注册表数据和不必要的后台进程会占用资源并降低性能。幸运的是,许多工具可以让 Windows 保持平稳运行。

下载
来源:php中文网
本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn
最新问题
热门推荐
开源免费商场系统广告
热门教程
更多>
最新下载
更多>
网站特效
网站源码
网站素材
前端模板
关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新 English
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送
PHP中文网APP
随时随地碎片化学习

Copyright 2014-2025 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号