Skip to main content
CenXiv.org
此网站处于试运行阶段,支持我们!
我们衷心感谢所有贡献者的支持。
贡献
赞助
cenxiv logo > cs > arXiv:2507.00789

帮助 | 高级搜索

计算机科学 > 计算机视觉与模式识别

arXiv:2507.00789 (cs)
[提交于 2025年7月1日 ]

标题: OptiPrune:通过注意力引导的噪声和动态标记选择提升提示-图像一致性

标题: OptiPrune: Boosting Prompt-Image Consistency with Attention-Guided Noise and Dynamic Token Selection

Authors:Ziji Lu
摘要: 文本到图像扩散模型常常难以在生成的图像和文本提示之间实现准确的语义对齐,同时保持在资源受限硬件上的效率。 现有的方法要么通过噪声优化产生大量的计算开销,要么通过激进地剪枝标记来牺牲语义保真度。 在本工作中,我们提出了OptiPrune,一个统一的框架,结合了感知分布的初始噪声优化与基于相似性的标记剪枝,以同时解决这两个挑战。 具体来说,(1) 我们引入了一个由注意力得分引导的感知分布噪声优化模块,以引导初始潜在噪声朝向语义上有意义的区域,减轻诸如主体忽略和特征纠缠等问题;(2) 我们设计了一种硬件高效的标记剪枝策略,通过逐块相似性选择有代表性的基础标记,注入随机性以增强泛化能力,并在注意力操作前通过最大相似性复制恢复被剪枝的标记。 我们的方法在噪声优化过程中保留了高斯先验,并实现了高效的推理而不牺牲对齐质量。 在包括Animal-Animal在内的基准数据集上的实验表明,OptiPrune在显著降低计算成本的情况下实现了最先进的提示图像一致性。
摘要: Text-to-image diffusion models often struggle to achieve accurate semantic alignment between generated images and text prompts while maintaining efficiency for deployment on resource-constrained hardware. Existing approaches either incur substantial computational overhead through noise optimization or compromise semantic fidelity by aggressively pruning tokens. In this work, we propose OptiPrune, a unified framework that combines distribution-aware initial noise optimization with similarity-based token pruning to address both challenges simultaneously. Specifically, (1) we introduce a distribution-aware noise optimization module guided by attention scores to steer the initial latent noise toward semantically meaningful regions, mitigating issues such as subject neglect and feature entanglement; (2) we design a hardware-efficient token pruning strategy that selects representative base tokens via patch-wise similarity, injects randomness to enhance generalization, and recovers pruned tokens using maximum similarity copying before attention operations. Our method preserves the Gaussian prior during noise optimization and enables efficient inference without sacrificing alignment quality. Experiments on benchmark datasets, including Animal-Animal, demonstrate that OptiPrune achieves state-of-the-art prompt-image consistency with significantly reduced computational cost.
主题: 计算机视觉与模式识别 (cs.CV)
引用方式: arXiv:2507.00789 [cs.CV]
  (或者 arXiv:2507.00789v1 [cs.CV] 对于此版本)
  https://doi.org/10.48550/arXiv.2507.00789
通过 DataCite 发表的 arXiv DOI(待注册)

提交历史

来自: Ziji Lu [查看电子邮件]
[v1] 星期二, 2025 年 7 月 1 日 14:24:40 UTC (655 KB)
全文链接:

获取论文:

    查看标题为《》的 PDF
  • 查看中文 PDF
  • 查看 PDF
  • TeX 源代码
  • 其他格式
许可图标 查看许可
当前浏览上下文:
cs.CV
< 上一篇   |   下一篇 >
新的 | 最近的 | 2025-07
切换浏览方式为:
cs

参考文献与引用

  • NASA ADS
  • 谷歌学术搜索
  • 语义学者
a 导出 BibTeX 引用 加载中...

BibTeX 格式的引用

×
数据由提供:

收藏

BibSonomy logo Reddit logo

文献和引用工具

文献资源探索 (什么是资源探索?)
连接的论文 (什么是连接的论文?)
Litmaps (什么是 Litmaps?)
scite 智能引用 (什么是智能引用?)

与本文相关的代码,数据和媒体

alphaXiv (什么是 alphaXiv?)
CatalyzeX 代码查找器 (什么是 CatalyzeX?)
DagsHub (什么是 DagsHub?)
Gotit.pub (什么是 GotitPub?)
Hugging Face (什么是 Huggingface?)
带有代码的论文 (什么是带有代码的论文?)
ScienceCast (什么是 ScienceCast?)

演示

复制 (什么是复制?)
Hugging Face Spaces (什么是 Spaces?)
TXYZ.AI (什么是 TXYZ.AI?)

推荐器和搜索工具

影响之花 (什么是影响之花?)
核心推荐器 (什么是核心?)
IArxiv 推荐器 (什么是 IArxiv?)
  • 作者
  • 地点
  • 机构
  • 主题

arXivLabs:与社区合作伙伴的实验项目

arXivLabs 是一个框架,允许合作伙伴直接在我们的网站上开发和分享新的 arXiv 特性。

与 arXivLabs 合作的个人和组织都接受了我们的价值观,即开放、社区、卓越和用户数据隐私。arXiv 承诺这些价值观,并且只与遵守这些价值观的合作伙伴合作。

有一个为 arXiv 社区增加价值的项目想法吗? 了解更多关于 arXivLabs 的信息.

这篇论文的哪些作者是支持者? | 禁用 MathJax (什么是 MathJax?)
  • 关于
  • 帮助
  • contact arXivClick here to contact arXiv 联系
  • 订阅 arXiv 邮件列表点击这里订阅 订阅
  • 版权
  • 隐私政策
  • 网络无障碍帮助
  • arXiv 运营状态
    通过...获取状态通知 email 或者 slack

京ICP备2025123034号