计算机科学 > 信息检索
[提交于 2025年10月3日
(v1)
,最后修订 2025年10月6日 (此版本, v2)]
标题: 更少的LLM,更多的文档:寻找改进的RAG
标题: Less LLM, More Documents: Searching for Improved RAG
摘要: 检索增强生成(RAG)将文档检索与大型语言模型(LLMs)结合在一起。 虽然扩大生成器可以提高准确性,但也增加了成本并限制了可部署性。 我们探索了一个正交维度:扩大检索器的语料库以减少对大型LLM的依赖。 实验结果表明,语料库扩展可以持续增强RAG,并且通常可以作为增加模型规模的替代方案,尽管在更大规模时收益会递减。 小型和中型生成器与更大的语料库经常能够匹敌具有较小语料库的大型模型;中型模型往往获得最大的收益,而小型和大型模型受益较少。 我们的分析表明,改进主要来自于答案段落覆盖范围的增加,而利用效率基本保持不变。 这些发现确立了一个有原则的语料库-生成器权衡:投资更大的语料库为更强的RAG提供了一条有效的路径,通常与扩大LLM本身相当。
文献和引用工具
与本文相关的代码,数据和媒体
alphaXiv (什么是 alphaXiv?)
CatalyzeX 代码查找器 (什么是 CatalyzeX?)
DagsHub (什么是 DagsHub?)
Gotit.pub (什么是 GotitPub?)
Hugging Face (什么是 Huggingface?)
带有代码的论文 (什么是带有代码的论文?)
ScienceCast (什么是 ScienceCast?)
演示
推荐器和搜索工具
arXivLabs:与社区合作伙伴的实验项目
arXivLabs 是一个框架,允许合作伙伴直接在我们的网站上开发和分享新的 arXiv 特性。
与 arXivLabs 合作的个人和组织都接受了我们的价值观,即开放、社区、卓越和用户数据隐私。arXiv 承诺这些价值观,并且只与遵守这些价值观的合作伙伴合作。
有一个为 arXiv 社区增加价值的项目想法吗? 了解更多关于 arXivLabs 的信息.