计算机科学 > 计算机视觉与模式识别
[提交于 2025年7月1日
]
标题: SCING:通过选择性跨模态提示微调实现更高效和鲁棒的人体再识别
标题: SCING:Towards More Efficient and Robust Person Re-Identification through Selective Cross-modal Prompt Tuning
摘要: 最近在将像CLIP这样的视觉-语言预训练模型适应于人员重识别(ReID)任务方面的进展,通常依赖于复杂的适配器设计或模态特定的调整,而忽视了跨模态交互,导致计算成本高或对齐效果不佳。 为了解决这些限制,我们提出了一种简单但有效的框架,名为选择性跨模态提示调优(SCING),该框架增强了跨模态对齐能力和对现实世界扰动的鲁棒性。 我们的方法引入了两个关键创新:首先,我们提出了选择性视觉提示融合(SVIP),这是一个轻量级模块,通过跨模态门控机制动态地将区分性视觉特征注入文本提示中。 此外,所提出的扰动驱动一致性对齐(PDCA)是一种双路径训练策略,通过正则化原始和增强的跨模态嵌入之间的一致性,在随机图像扰动下强制不变特征对齐。 在几个流行的基准测试上进行了广泛的实验,包括Market1501、DukeMTMC-ReID、Occluded-Duke、Occluded-REID和P-DukeMTMC,结果表明了所提方法的出色性能。 值得注意的是,我们的框架消除了重型适配器,同时保持了高效的推理,实现了性能与计算开销之间的最佳平衡。 代码将在接受后发布。
文献和引用工具
与本文相关的代码,数据和媒体
alphaXiv (什么是 alphaXiv?)
CatalyzeX 代码查找器 (什么是 CatalyzeX?)
DagsHub (什么是 DagsHub?)
Gotit.pub (什么是 GotitPub?)
Hugging Face (什么是 Huggingface?)
带有代码的论文 (什么是带有代码的论文?)
ScienceCast (什么是 ScienceCast?)
演示
推荐器和搜索工具
arXivLabs:与社区合作伙伴的实验项目
arXivLabs 是一个框架,允许合作伙伴直接在我们的网站上开发和分享新的 arXiv 特性。
与 arXivLabs 合作的个人和组织都接受了我们的价值观,即开放、社区、卓越和用户数据隐私。arXiv 承诺这些价值观,并且只与遵守这些价值观的合作伙伴合作。
有一个为 arXiv 社区增加价值的项目想法吗? 了解更多关于 arXivLabs 的信息.