计算机科学 > 数据库
[提交于 2025年11月2日
]
标题: 基于图的统一索引用于GPU上的混合搜索
标题: All-in-one Graph-based Indexing for Hybrid Search on GPUs
摘要: 混合搜索作为一种有前景的范式,已出现以克服单一路径检索的局限性,提高推荐、信息检索和检索增强生成等应用的准确性。 然而,现有方法受到三重困境的限制:它们为了效率而牺牲灵活性,由于独立检索导致准确性下降,或在灵活组合检索路径时产生高昂的存储开销。 本文介绍了Allan-Poe,一种由GPU加速的新型一体化图索引,用于高效的混合搜索。 我们首先分析了现有检索范式的局限性,并提炼出有效混合搜索索引的关键设计原则。 在这些原则的指导下,我们构建了一个统一的基于图的索引,能够在单一、连贯的结构中灵活集成四种检索路径——密集向量、稀疏向量、全文和知识图谱。 为了实现高效的构建,我们设计了一个GPU加速的流水线,包括线程束级别的混合距离内核、RNG-IP联合剪枝和关键词感知的邻居回收。 对于查询处理,我们引入了一个动态融合框架,无需索引重建即可支持任何检索路径和权重的组合,利用知识图谱中的逻辑边来解决复杂的多跳查询。 在6个真实数据集上的大量实验表明,Allan-Poe实现了优越的端到端查询准确性,并在吞吐量上比最先进的方法高出1.5-186.4倍,同时显著降低了存储开销。
文献和引用工具
与本文相关的代码,数据和媒体
alphaXiv (什么是 alphaXiv?)
CatalyzeX 代码查找器 (什么是 CatalyzeX?)
DagsHub (什么是 DagsHub?)
Gotit.pub (什么是 GotitPub?)
Hugging Face (什么是 Huggingface?)
带有代码的论文 (什么是带有代码的论文?)
ScienceCast (什么是 ScienceCast?)
演示
推荐器和搜索工具
arXivLabs:与社区合作伙伴的实验项目
arXivLabs 是一个框架,允许合作伙伴直接在我们的网站上开发和分享新的 arXiv 特性。
与 arXivLabs 合作的个人和组织都接受了我们的价值观,即开放、社区、卓越和用户数据隐私。arXiv 承诺这些价值观,并且只与遵守这些价值观的合作伙伴合作。
有一个为 arXiv 社区增加价值的项目想法吗? 了解更多关于 arXivLabs 的信息.