由英国政府AI安全研究所联合多所顶尖高校的计算机科学家开展的一项研究揭示，当前广泛用于衡量新一代人工智能（AI）模型安全性与效能的评估体系存在普遍性漏洞。研究人员对超过440个现有基准测试进行了系统分析，结果发现几乎每一项测试都在设计或执行层面存在某种形式的缺陷，可能严重影响其评估结果的可信度。
牛津互联网研究所的研究员安德鲁・比恩（Andrew Bean）作为该研究的主要负责人指出，这些基准测试本应是验证新型AI系统是否安全、可控并符合人类价值观的关键手段。然而，由于行业缺乏统一的技术标准和严谨的验证机制，目前很难判断AI模型的实际表现是在持续提升，还是仅仅在特定测试条件下“看起来”更优。
在美英两国尚未建立全面AI监管框架的现状下，这类基准测试实际上承担着类似“自我监管”的角色，成为科技公司在发布新AI产品前的重要参考。但近年来已有多起因AI输出有害内容而被迫下架产品的案例。例如，谷歌此前不得不撤回其开源AI模型Gemma，原因是该模型生成了关于一名美国参议员的虚假负面信息，引发公众强烈质疑。
谷歌随后澄清称，Gemma原本面向开发者和研究人员，并非为大众用户设计，在发现被不当使用后迅速采取了回收措施。研究还指出，大多数基准测试缺乏对结果不确定性的量化分析，仅有16%的测试采用了统计显著性检验等科学方法。同时，在评估如“无害性”“公平性”等关键属性时，相关标准定义模糊、主观性强，导致不同测试之间难以横向比较。
为此，研究团队呼吁全球AI社区共同推动建立开放、透明且标准化的评估框架，制定通用的最佳实践指南，以增强AI安全测试的可靠性与可重复性，从而真正保障技术发展的稳健与可信。
