计算机科学 > 计算机视觉与模式识别
[提交于 2025年6月3日
]
标题: 关系适配器:使用扩散变换学习和迁移视觉关系
标题: RelationAdapter: Learning and Transferring Visual Relation with Diffusion Transformers
摘要: 受大型语言模型(LLMs)上下文学习机制的启发,一种新的可泛化的基于视觉提示的图像编辑范式正在兴起。现有的单参考方法通常侧重于样式或外观调整,并且难以处理非刚性变换。为了解决这些局限性,我们提出利用源目标图像对来提取并将内容感知的编辑意图转移到新的查询图像上。为此,我们引入了RelationAdapter,这是一种轻量级模块,可以使基于Diffusion Transformer (DiT) 的模型有效地捕获和应用来自最小样本的视觉变换。我们还引入了Relation252K,这是一个包含218种多样化编辑任务的综合数据集,用于评估模型在基于视觉提示场景中的泛化能力和适应性。Relation252K上的实验表明,RelationAdapter显著提高了模型理解并转移编辑意图的能力,从而在生成质量和整体编辑性能方面取得了显著提升。
文献和引用工具
与本文相关的代码,数据和媒体
alphaXiv (什么是 alphaXiv?)
CatalyzeX 代码查找器 (什么是 CatalyzeX?)
DagsHub (什么是 DagsHub?)
Gotit.pub (什么是 GotitPub?)
Hugging Face (什么是 Huggingface?)
带有代码的论文 (什么是带有代码的论文?)
ScienceCast (什么是 ScienceCast?)
演示
推荐器和搜索工具
arXivLabs:与社区合作伙伴的实验项目
arXivLabs 是一个框架,允许合作伙伴直接在我们的网站上开发和分享新的 arXiv 特性。
与 arXivLabs 合作的个人和组织都接受了我们的价值观,即开放、社区、卓越和用户数据隐私。arXiv 承诺这些价值观,并且只与遵守这些价值观的合作伙伴合作。
有一个为 arXiv 社区增加价值的项目想法吗? 了解更多关于 arXivLabs 的信息.