Skip to main content
CenXiv.org
此网站处于试运行阶段,支持我们!
我们衷心感谢所有贡献者的支持。
贡献
赞助
cenxiv logo > cs > arXiv:2508.01932

帮助 | 高级搜索

计算机科学 > 计算机视觉与模式识别

arXiv:2508.01932 (cs)
[提交于 2025年8月3日 ]

标题: 触发对象配对的主动解缠 Modeling 用于后门防御

标题: Proactive Disentangled Modeling of Trigger-Object Pairings for Backdoor Defense

Authors:Kyle Stein, Andrew A. Mahyari, Guillermo Francia III, Eman El-Sheikh
摘要: 深度神经网络(DNNs)和生成式人工智能(GenAI)越来越容易受到后门攻击,攻击者在输入中嵌入触发器,使模型对目标标签进行错误分类或误解。 除了传统的单触发场景外,攻击者可能在各种对象类别中注入多个触发器,形成未见过的后门对象配置,从而逃避标准检测流程。 在本文中,我们引入了DBOM(解耦后门对象建模),这是一种主动框架,利用结构化解耦来在数据集级别识别和中和已见和未见的后门威胁。 具体而言,DBOM通过使用视觉-语言模型(VLMs)将触发器和对象作为嵌入空间中的独立原始元素进行建模,对输入图像表示进行因子分解。 通过利用VLMs的冻结预训练编码器,我们的方法通过可学习的视觉提示库和提示前缀调优,将潜在表示分解为不同的组件,确保触发器和对象之间的关系被显式捕获。 为了在视觉提示库中分离触发器和对象表示,我们引入了触发器-对象分离和多样性损失,有助于解耦触发器和对象的视觉特征。 接下来,通过将图像特征与特征分解和融合以及共享多模态空间中的学习上下文提示标记对齐,DBOM实现了对训练期间未见过的新触发器-对象配对的零样本泛化,从而提供了对对抗攻击模式的更深入见解。 在CIFAR-10和GTSRB上的实验结果表明,DBOM在下游训练之前能够稳健地检测受污染的图像,显著增强了DNN训练流程的安全性。
摘要: Deep neural networks (DNNs) and generative AI (GenAI) are increasingly vulnerable to backdoor attacks, where adversaries embed triggers into inputs to cause models to misclassify or misinterpret target labels. Beyond traditional single-trigger scenarios, attackers may inject multiple triggers across various object classes, forming unseen backdoor-object configurations that evade standard detection pipelines. In this paper, we introduce DBOM (Disentangled Backdoor-Object Modeling), a proactive framework that leverages structured disentanglement to identify and neutralize both seen and unseen backdoor threats at the dataset level. Specifically, DBOM factorizes input image representations by modeling triggers and objects as independent primitives in the embedding space through the use of Vision-Language Models (VLMs). By leveraging the frozen, pre-trained encoders of VLMs, our approach decomposes the latent representations into distinct components through a learnable visual prompt repository and prompt prefix tuning, ensuring that the relationships between triggers and objects are explicitly captured. To separate trigger and object representations in the visual prompt repository, we introduce the trigger-object separation and diversity losses that aids in disentangling trigger and object visual features. Next, by aligning image features with feature decomposition and fusion, as well as learned contextual prompt tokens in a shared multimodal space, DBOM enables zero-shot generalization to novel trigger-object pairings that were unseen during training, thereby offering deeper insights into adversarial attack patterns. Experimental results on CIFAR-10 and GTSRB demonstrate that DBOM robustly detects poisoned images prior to downstream training, significantly enhancing the security of DNN training pipelines.
主题: 计算机视觉与模式识别 (cs.CV) ; 人工智能 (cs.AI)
引用方式: arXiv:2508.01932 [cs.CV]
  (或者 arXiv:2508.01932v1 [cs.CV] 对于此版本)
  https://doi.org/10.48550/arXiv.2508.01932
通过 DataCite 发表的 arXiv DOI
期刊参考: Computers, Materials & Continua, 2025
相关 DOI: https://doi.org/10.32604/cmc.2025.068201
链接到相关资源的 DOI

提交历史

来自: Kyle Stein [查看电子邮件]
[v1] 星期日, 2025 年 8 月 3 日 21:58:15 UTC (911 KB)
全文链接:

获取论文:

    查看标题为《》的 PDF
  • 查看中文 PDF
  • 查看 PDF
  • TeX 源代码
  • 其他格式
许可图标 查看许可
当前浏览上下文:
cs
< 上一篇   |   下一篇 >
新的 | 最近的 | 2025-08
切换浏览方式为:
cs.AI
cs.CV

参考文献与引用

  • NASA ADS
  • 谷歌学术搜索
  • 语义学者
a 导出 BibTeX 引用 加载中...

BibTeX 格式的引用

×
数据由提供:

收藏

BibSonomy logo Reddit logo

文献和引用工具

文献资源探索 (什么是资源探索?)
连接的论文 (什么是连接的论文?)
Litmaps (什么是 Litmaps?)
scite 智能引用 (什么是智能引用?)

与本文相关的代码,数据和媒体

alphaXiv (什么是 alphaXiv?)
CatalyzeX 代码查找器 (什么是 CatalyzeX?)
DagsHub (什么是 DagsHub?)
Gotit.pub (什么是 GotitPub?)
Hugging Face (什么是 Huggingface?)
带有代码的论文 (什么是带有代码的论文?)
ScienceCast (什么是 ScienceCast?)

演示

复制 (什么是复制?)
Hugging Face Spaces (什么是 Spaces?)
TXYZ.AI (什么是 TXYZ.AI?)

推荐器和搜索工具

影响之花 (什么是影响之花?)
核心推荐器 (什么是核心?)
IArxiv 推荐器 (什么是 IArxiv?)
  • 作者
  • 地点
  • 机构
  • 主题

arXivLabs:与社区合作伙伴的实验项目

arXivLabs 是一个框架,允许合作伙伴直接在我们的网站上开发和分享新的 arXiv 特性。

与 arXivLabs 合作的个人和组织都接受了我们的价值观,即开放、社区、卓越和用户数据隐私。arXiv 承诺这些价值观,并且只与遵守这些价值观的合作伙伴合作。

有一个为 arXiv 社区增加价值的项目想法吗? 了解更多关于 arXivLabs 的信息.

这篇论文的哪些作者是支持者? | 禁用 MathJax (什么是 MathJax?)
  • 关于
  • 帮助
  • contact arXivClick here to contact arXiv 联系
  • 订阅 arXiv 邮件列表点击这里订阅 订阅
  • 版权
  • 隐私政策
  • 网络无障碍帮助
  • arXiv 运营状态
    通过...获取状态通知 email 或者 slack

京ICP备2025123034号