Skip to main content
CenXiv.org
此网站处于试运行阶段,支持我们!
我们衷心感谢所有贡献者的支持。
贡献
赞助
cenxiv logo > cs > arXiv:2510.17759

帮助 | 高级搜索

计算机科学 > 密码学与安全

arXiv:2510.17759 (cs)
[提交于 2025年10月20日 ]

标题: VERA-V:用于破解视觉-语言模型的变分推理框架

标题: VERA-V: Variational Inference Framework for Jailbreaking Vision-Language Models

Authors:Qilin Liao, Anamika Lochab, Ruqi Zhang
摘要: 视觉-语言模型(VLMs)通过视觉推理扩展了大型语言模型,但其多模态设计也引入了新的、未充分探索的漏洞。 现有的多模态红队方法大多依赖于脆弱的模板,专注于单一攻击设置,并仅暴露了一小部分漏洞。 为解决这些限制,我们引入了VERA-V,这是一种变分推理框架,将多模态越狱发现重新表述为学习配对文本-图像提示的联合后验分布。 这种概率观点使得能够生成隐蔽的、耦合的对抗性输入,以绕过模型的防护机制。 我们训练了一个轻量级攻击者来近似后验分布,从而能够高效地采样多样化的越狱,并提供关于漏洞的分布见解。 VERA-V进一步集成了三种互补策略:(i) 基于排版的文本提示,嵌入有害线索,(ii) 基于扩散的图像生成,引入对抗信号,(iii) 结构化干扰项以分散VLM注意力。 在HarmBench和HADES基准测试中的实验表明,VERA-V在开源和前沿VLM上始终优于最先进的基线方法,在GPT-4o上的攻击成功率(ASR)比最佳基线高出高达53.75%。
摘要: Vision-Language Models (VLMs) extend large language models with visual reasoning, but their multimodal design also introduces new, underexplored vulnerabilities. Existing multimodal red-teaming methods largely rely on brittle templates, focus on single-attack settings, and expose only a narrow subset of vulnerabilities. To address these limitations, we introduce VERA-V, a variational inference framework that recasts multimodal jailbreak discovery as learning a joint posterior distribution over paired text-image prompts. This probabilistic view enables the generation of stealthy, coupled adversarial inputs that bypass model guardrails. We train a lightweight attacker to approximate the posterior, allowing efficient sampling of diverse jailbreaks and providing distributional insights into vulnerabilities. VERA-V further integrates three complementary strategies: (i) typography-based text prompts that embed harmful cues, (ii) diffusion-based image synthesis that introduces adversarial signals, and (iii) structured distractors to fragment VLM attention. Experiments on HarmBench and HADES benchmarks show that VERA-V consistently outperforms state-of-the-art baselines on both open-source and frontier VLMs, achieving up to 53.75% higher attack success rate (ASR) over the best baseline on GPT-4o.
评论: 18页,7图,
主题: 密码学与安全 (cs.CR) ; 计算与语言 (cs.CL); 计算机视觉与模式识别 (cs.CV); 机器学习 (cs.LG)
引用方式: arXiv:2510.17759 [cs.CR]
  (或者 arXiv:2510.17759v1 [cs.CR] 对于此版本)
  https://doi.org/10.48550/arXiv.2510.17759
通过 DataCite 发表的 arXiv DOI

提交历史

来自: Qilin Liao [查看电子邮件]
[v1] 星期一, 2025 年 10 月 20 日 17:12:10 UTC (6,176 KB)
全文链接:

获取论文:

    查看标题为《》的 PDF
  • 查看中文 PDF
  • 查看 PDF
  • HTML(实验性)
  • TeX 源代码
许可图标 查看许可
当前浏览上下文:
cs.CR
< 上一篇   |   下一篇 >
新的 | 最近的 | 2025-10
切换浏览方式为:
cs
cs.CL
cs.CV
cs.LG

参考文献与引用

  • NASA ADS
  • 谷歌学术搜索
  • 语义学者
a 导出 BibTeX 引用 加载中...

BibTeX 格式的引用

×
数据由提供:

收藏

BibSonomy logo Reddit logo

文献和引用工具

文献资源探索 (什么是资源探索?)
连接的论文 (什么是连接的论文?)
Litmaps (什么是 Litmaps?)
scite 智能引用 (什么是智能引用?)

与本文相关的代码,数据和媒体

alphaXiv (什么是 alphaXiv?)
CatalyzeX 代码查找器 (什么是 CatalyzeX?)
DagsHub (什么是 DagsHub?)
Gotit.pub (什么是 GotitPub?)
Hugging Face (什么是 Huggingface?)
带有代码的论文 (什么是带有代码的论文?)
ScienceCast (什么是 ScienceCast?)

演示

复制 (什么是复制?)
Hugging Face Spaces (什么是 Spaces?)
TXYZ.AI (什么是 TXYZ.AI?)

推荐器和搜索工具

影响之花 (什么是影响之花?)
核心推荐器 (什么是核心?)
IArxiv 推荐器 (什么是 IArxiv?)
  • 作者
  • 地点
  • 机构
  • 主题

arXivLabs:与社区合作伙伴的实验项目

arXivLabs 是一个框架,允许合作伙伴直接在我们的网站上开发和分享新的 arXiv 特性。

与 arXivLabs 合作的个人和组织都接受了我们的价值观,即开放、社区、卓越和用户数据隐私。arXiv 承诺这些价值观,并且只与遵守这些价值观的合作伙伴合作。

有一个为 arXiv 社区增加价值的项目想法吗? 了解更多关于 arXivLabs 的信息.

这篇论文的哪些作者是支持者? | 禁用 MathJax (什么是 MathJax?)
  • 关于
  • 帮助
  • contact arXivClick here to contact arXiv 联系
  • 订阅 arXiv 邮件列表点击这里订阅 订阅
  • 版权
  • 隐私政策
  • 网络无障碍帮助
  • arXiv 运营状态
    通过...获取状态通知 email 或者 slack

京ICP备2025123034号