计算机科学 > 信息检索
[提交于 2025年5月1日
]
标题: 探究任务算术在零样本信息检索中的应用
标题: Investigating Task Arithmetic for Zero-Shot Information Retrieval
摘要: 大型语言模型(LLMs)在多种自然语言处理任务(包括文档重排序)的零样本性能上表现出令人印象深刻的能力。然而,它们在未见过的任务和领域中的有效性会下降,这主要是由于词汇和单词分布的变化。在这篇论文中,我们研究了任务算术,这是一种通过简单的数学运算(如加法或减法)结合在不同任务或领域预训练的LLMs权重的技术,以适应检索模型而无需额外的微调。我们的方法能够将多样化的任务和领域知识综合到一个单一模型中,从而实现在不同检索上下文中的有效零样本适应。在公开可用的科学、生物医学和多语言数据集上的广泛实验表明,我们的方法在NDCG@10上提高了最先进的重排序性能最多18%,在P@10上提高了15%。除了这些经验上的收益外,我们的分析还提供了关于任务算术作为零样本学习和模型适应实用策略的优势和局限性的见解。我们将代码公开提供在https://github.com/DetectiveMB/Task-Arithmetic-for-ZS-IR。
文献和引用工具
与本文相关的代码,数据和媒体
alphaXiv (什么是 alphaXiv?)
CatalyzeX 代码查找器 (什么是 CatalyzeX?)
DagsHub (什么是 DagsHub?)
Gotit.pub (什么是 GotitPub?)
Hugging Face (什么是 Huggingface?)
带有代码的论文 (什么是带有代码的论文?)
ScienceCast (什么是 ScienceCast?)
演示
推荐器和搜索工具
arXivLabs:与社区合作伙伴的实验项目
arXivLabs 是一个框架,允许合作伙伴直接在我们的网站上开发和分享新的 arXiv 特性。
与 arXivLabs 合作的个人和组织都接受了我们的价值观,即开放、社区、卓越和用户数据隐私。arXiv 承诺这些价值观,并且只与遵守这些价值观的合作伙伴合作。
有一个为 arXiv 社区增加价值的项目想法吗? 了解更多关于 arXivLabs 的信息.