计算机科学 > 计算机视觉与模式识别
[提交于 2025年5月28日
]
标题: 通过显式硬负样本梯度放大改进多模态嵌入学习
标题: Improve Multi-Modal Embedding Learning via Explicit Hard Negative Gradient Amplifying
摘要: 随着近年来多模态大型语言模型(MLLMs)的快速发展,基础的对比语言-图像预训练(CLIP)框架已成功扩展到MLLMs,为广泛的检索任务提供了更强大且通用的多模态嵌入。尽管取得了这些进展,从CLIP风格模型到MLLMs的核心对比学习范式基本没有改变。在此框架内,有效挖掘困难负样本仍然是提升性能的关键因素。以往的工作引入了离线和在线策略来挖掘困难负样本,以提高对比学习的效率。虽然这些方法改进了多模态嵌入,但每个困难负样本对学习过程的具体贡献尚未被深入研究。在这项工作中,我们详细分析了info-NCE损失函数关于查询、正样本和负样本的梯度,阐明了困难负样本在更新模型参数中的作用。基于此分析,我们提出显式放大与困难负样本相关的梯度,从而鼓励模型学习更具区分性的嵌入。我们的多模态嵌入模型采用所提出的显式梯度放大器,并基于LLaVA-OneVision-7B架构,在MMEB基准测试中相比利用相同MLLM主干的先前方法实现了最先进的性能。此外,当与我们自主研发的MLLM QQMM结合时,我们的方法在MMEB排行榜上达到了顶级排名。代码和模型已在https://github.com/QQ-MM/QQMM-embed 上发布。
文献和引用工具
与本文相关的代码,数据和媒体
alphaXiv (什么是 alphaXiv?)
CatalyzeX 代码查找器 (什么是 CatalyzeX?)
DagsHub (什么是 DagsHub?)
Gotit.pub (什么是 GotitPub?)
Hugging Face (什么是 Huggingface?)
带有代码的论文 (什么是带有代码的论文?)
ScienceCast (什么是 ScienceCast?)
演示
推荐器和搜索工具
arXivLabs:与社区合作伙伴的实验项目
arXivLabs 是一个框架,允许合作伙伴直接在我们的网站上开发和分享新的 arXiv 特性。
与 arXivLabs 合作的个人和组织都接受了我们的价值观,即开放、社区、卓越和用户数据隐私。arXiv 承诺这些价值观,并且只与遵守这些价值观的合作伙伴合作。
有一个为 arXiv 社区增加价值的项目想法吗? 了解更多关于 arXivLabs 的信息.