人工智能安全差距：保护生成式人工智能时代的系统

生成式人工智能 (GenAI) 和大型语言模型 (LLM) 的快速采用正在以前所未有的速度改变行业。近 90% 的组织正在积极实施或探索 LLM 用例，渴望利用这些革命性技术的力量。然而，这种热情与令人担忧的安全准备不足并存。 Lakera 最近的一份 GenAI 就绪报告显示，只有约 5% 的组织对其 GenAI 安全框架充满信心。

生成式人工智能 (GenAI) 和大型语言模型 (LLM) 的快速采用正在以前所未有的速度改变行业。近 90% 的组织正在积极实施或探索 LLM 用例，渴望利用这些革命性技术的力量。然而，这种热情与令人担忧的安全准备不足并存。 Lakera 最近的一份 GenAI 准备情况报告显示，只有约 5% 的组织对其 GenAI 安全框架充满信心。

采用和安全准备情况之间的明显差异提出了一个关键问题：市场是否为 GenAI 的潜在安全性做好了准备风险？

即时黑客攻击的兴起

随着 GenAI 的广泛采用，出现了一种新的潜在毁灭性威胁：即时黑客攻击。与需要大量编码知识的传统黑客方法不同，即时黑客攻击使利用人工智能系统的能力变得民主化。只需几句话，即使是新手也可以操纵人工智能模型，从而导致意外行为和潜在的数据泄露。

Lakera 的 Gandalf，一款免费的 LLM 黑客模拟游戏，清楚地说明了这种威胁。迄今为止，已有 100 万甘道夫玩家和 5000 万条提示和猜测记录，其中有 200,000 人成功破解了整个游戏。这一演示 GenAI 是多么容易被操纵，这应该为那些在没有足够安全措施的情况下急于实施这些技术的组织敲响警钟。

GenAI 安全准备状况

Lakera 的 GenAI 准备情况报告将 Gandalf 模拟数据与 1,000 多名参与者的调查结果相结合，描绘了一幅有关 GenAI 安全现状的令人担忧的图景：

1. 采用率高，置信度低：虽然 42% 的受访者已经积极使用 genai 并实施 llm，只有 5% 对其 ai 安全措施充满信心。

2. 缺乏针对 AI 的威胁建模：只有 22% 的受访者采用针对 AI 的威胁建模来做好准备针对 GenAI 特定的威胁。

3. 不同的安全实践：虽然 61% 的组织已实施访问控制机制，但只有 37% 的组织采用渗透测试，只有 22% 的组织使用 AI 特定的威胁

4. 对漏洞响应缓慢：遇到 GenAI 漏洞的组织中有 20% 表示这些问题仍未完全解决。

这些调查结果凸显了安全准备方面的重大差距，使得许多 GenAI 系统极易受到恶意操纵和滥用。

了解风险

与 GenAI 相关的安全风险不仅仅限于数据泄露。报告中确定的一些关键漏洞包括：

1. 有偏差的输出：47% 遇到漏洞的组织报告了有偏差的 AI 输出问题。

2. 数据泄露：42% 遇到了通过 AI 交互暴露敏感数据的问题。

3. 滥用 AI 输出：38% 报告了 AI 生成的信息被滥用的情况。

4. 模型操纵：34% 的人尝试过改变或篡改他们的 AI 模型。

5. 未经授权的访问：19% 面临未经授权的个人访问 GenAI 的问题

这些漏洞的影响可能是深远的，从轻微的操作中断到重大的数据泄露和法律后果。

实施人工智能特定的威胁建模

组织需要采用特定于 AI 的威胁建模实践来解决 GenAI 带来的独特安全挑战。此方法涉及：

1. 识别 AI 特定资产：识别 AI 系统的独特组件，包括训练数据、模型架构和推理端点。

2. 绘制攻击面：了解对手如何尝试操纵您的人工智能系统，包括通过输入数据中毒、模型反转攻击或提示注入。

3. 分析潜在威胁：考虑传统的网络安全威胁和特定于 AI 的风险，例如模型盗窃或输出操纵。

   

   E购-新零售系统

   “米烁云货宝”，是一款基于云计算的Saas模式新零售系统。以互联网为基础，通过大数据、人工智能等先进技术，对商品的生产、流通、销售、服务等环节转型升级改造，进而重塑业态结构与生态圈。并对线上交易运营服务、线下体验购买及现代物流进行深度融合，所形成的零售新模式。

   下载

4. 实施缓解策略：开发和部署针对 AI 系统量身定制的安全措施，例如强大的输入验证、输出过滤和持续模型监控。

5. 定期测试和更新：持续进行安全评估，并在新漏洞和攻击向量出现时更新威胁模型。

保护 GenAI 系统的最佳实践

为了弥合 GenAI 采用和安全之间的差距，组织应考虑以下最佳实践：

• 实施强大的访问控制：要限制潜在的攻击媒介，请使用基于角色的访问控制和最小权限原则。

• 加密敏感数据：确保所有 AI 训练和推理数据都经过适当加密

• 定期进行安全审核：执行内部和外部安全审核，主动识别和解决漏洞。

• 采用渗透测试：定期测试您的 AI 系统免受潜在攻击，以发现弱点，以免被利用。

• 制定安全的 AI 实践：在整个 AI 开发生命周期（从数据收集到模型部署）中整合安全考虑因素.

• 随时了解情况：通过行业论坛、安全咨询以及与研究人员的合作，了解最新的人工智能安全威胁和最佳实践。

• 制定正式的 AI 安全策略：制定并实施针对组织内 AI 系统的全面安全策略。

• 投资于 AI 安全专业知识：建立或收购具有 AI 安全专业知识的团队，以解决这些系统的独特挑战。

未来之路

随着 GenAI 不断革新行业，强大的安全措施的重要性怎么强调都不为过。组织必须弥合采用和安全之间的差距，以充分实现这些强大技术的优势，同时降低相关风险。

通过实施特定于 AI 的威胁建模，采用 GenAI 安全性的最佳实践，并培育一种文化持续学习和适应，组织可以为安全的人工智能创新奠定坚实的基础。当我们探索这一新领域时，成功的关键在于在利用 GenAI 的变革力量和确保人工智能系统的安全性和完整性之间取得适当的平衡。

GenAI 革命已经到来，是时候我们安全实践也随之发展。您准备好保障您的人工智能未来了吗？