计算机科学 > 密码学与安全
[提交于 2025年7月17日
]
标题: 提示注入2.0:混合AI威胁
标题: Prompt Injection 2.0: Hybrid AI Threats
摘要: 提示注入攻击,其中恶意输入被设计用来操纵AI系统,使其忽略原始指令并遵循未经授权的命令,最初由Preamble, Inc.于2022年5月发现,并负责任地披露给OpenAI。 在过去三年中,这些攻击持续对集成LLM的系统构成关键的安全威胁。 代理型AI系统的出现,其中LLM通过工具和与其他代理的协作自主执行多步骤任务,彻底改变了威胁环境。 现代的提示注入攻击现在可以与传统的网络安全漏洞结合,创造出系统性地规避传统安全控制的混合威胁。 本文对Prompt Injection 2.0进行了全面分析,探讨了提示注入如何与跨站脚本(XSS)、跨站请求伪造(CSRF)和其他网络安全隐患结合,以绕过传统的安全措施。 我们基于Preamble的基础研究和缓解技术,将其与当代威胁进行评估,包括AI蠕虫、多代理感染和混合网络-AI攻击。 我们的分析包含了最近的基准测试,展示了传统网络应用防火墙、XSS过滤器和CSRF令牌在面对AI增强的攻击时的失败。 我们还提出了将提示隔离、运行时安全和权限分离与新颖的威胁检测能力相结合的架构解决方案。
文献和引用工具
与本文相关的代码,数据和媒体
alphaXiv (什么是 alphaXiv?)
CatalyzeX 代码查找器 (什么是 CatalyzeX?)
DagsHub (什么是 DagsHub?)
Gotit.pub (什么是 GotitPub?)
Hugging Face (什么是 Huggingface?)
带有代码的论文 (什么是带有代码的论文?)
ScienceCast (什么是 ScienceCast?)
演示
推荐器和搜索工具
arXivLabs:与社区合作伙伴的实验项目
arXivLabs 是一个框架,允许合作伙伴直接在我们的网站上开发和分享新的 arXiv 特性。
与 arXivLabs 合作的个人和组织都接受了我们的价值观,即开放、社区、卓越和用户数据隐私。arXiv 承诺这些价值观,并且只与遵守这些价值观的合作伙伴合作。
有一个为 arXiv 社区增加价值的项目想法吗? 了解更多关于 arXivLabs 的信息.