计算机科学 > 计算机视觉与模式识别
[提交于 2025年9月27日
]
标题: 基于强化学习的文本到图像模型提示模板窃取
标题: Reinforcement Learning-Based Prompt Template Stealing for Text-to-Image Models
摘要: 多模态大语言模型(MLLMs)已改变了文本到图像的工作流程,使设计师能够以前所未有的速度创建新颖的视觉概念。 这一进展催生了一个繁荣的提示交易市场,其中经过筛选的提示可以引发商标风格并被买卖。 尽管具有商业吸引力,提示交易也引入了一个 largely 未经审视的安全风险:提示本身可能被盗。 在本文中,我们揭示了这一漏洞,并提出了RLStealer,这是一种基于强化学习的提示反转框架,可以从少量示例图像中恢复其模板。 RLStealer将模板窃取视为一个顺序决策问题,并采用多种基于相似性的反馈信号作为奖励函数,以有效探索提示空间。 在公开可用的基准测试中进行的全面实验表明,RLStealer在减少总攻击成本至现有基线所需成本的13%以下的同时,达到了最先进的性能。 我们的进一步分析证实,RLStealer可以有效地跨不同图像风格进行泛化,以高效地窃取未见过的提示模板。 我们的研究突显了提示交易中固有的紧迫安全威胁,并为在新兴的MLLM市场中制定保护标准奠定了基础。
文献和引用工具
与本文相关的代码,数据和媒体
alphaXiv (什么是 alphaXiv?)
CatalyzeX 代码查找器 (什么是 CatalyzeX?)
DagsHub (什么是 DagsHub?)
Gotit.pub (什么是 GotitPub?)
Hugging Face (什么是 Huggingface?)
带有代码的论文 (什么是带有代码的论文?)
ScienceCast (什么是 ScienceCast?)
演示
推荐器和搜索工具
arXivLabs:与社区合作伙伴的实验项目
arXivLabs 是一个框架,允许合作伙伴直接在我们的网站上开发和分享新的 arXiv 特性。
与 arXivLabs 合作的个人和组织都接受了我们的价值观,即开放、社区、卓越和用户数据隐私。arXiv 承诺这些价值观,并且只与遵守这些价值观的合作伙伴合作。
有一个为 arXiv 社区增加价值的项目想法吗? 了解更多关于 arXivLabs 的信息.