智能体或带来灾难性风险，图灵奖得主Bengio指明新路径Scientist AI：世界模型+推理机

警惕失控的通用人工智能：科学家ai，一条更安全的道路

当前，领先的人工智能公司正竞相开发通用人工智能（AGI），目标是创造能够自主规划、行动并追求目标的系统，几乎可以胜任人类的所有任务。然而，这种不受约束的AGI对人类安全构成重大威胁。 图灵奖得主Yoshua Bengio及其团队在最新论文《Superintelligent Agents Pose Catastrophic Risks: Can Scientist AI Offer a Safer Path?》中，提出了一种更安全、更可靠的AI替代方案——科学家AI（Scientist AI）。

这篇论文指出，Scientist AI的设计理念与传统的、以智能体为中心的AI发展路径截然不同。它并非旨在主动行动或追求目标，而是通过观察和解释世界来运作。 Scientist AI的核心组成部分包括一个世界模型和一个问答推理机。世界模型负责构建解释数据的理论，而推理机则基于该模型进行概率推断，并明确考虑不确定性以降低风险。

论文地址：https://www.php.cn/link/35befb8d43bc548a8d9c271ae5b7f4b2

Scientist AI 的设计灵感源于柏拉图式的理想科学家形象，它利用最先进的概率深度学习技术，并遵循科学方法论：先理解和建模世界，再基于此进行推断。 它能够将概率预测转化为实验设计，从而避免对强化学习智能体的依赖。

不同于追求目标的自主AI，Scientist AI 的目标是提供对事件的解释及其概率估计。它不具备情境意识，也没有驱动行动或长期计划的内在目标。其核心在于世界模型和概率推理机，前者生成解释性理论，后者进行概率估计。

Scientist AI 的关键特性包括：使用逻辑语句表达理论和查询；基于世界模型，每个查询都有唯一的正确概率；能够处理潜在或未观察变量。

该论文还展望了Scientist AI 的三大应用方向：加速科学进步（尤其在医疗领域）；作为安全防护机制，审查自主AI的行动；作为AI研究工具，辅助更安全地开发未来更智能的AI。 欲了解更多细节，请阅读论文原文。

以上就是智能体或带来灾难性风险，图灵奖得主Bengio指明新路径Scientist AI：世界模型+推理机的详细内容，更多请关注php中文网其它相关文章！