计算机科学 > 数据库
[提交于 2025年7月12日
]
标题: HedraRAG:在异构RAG服务中协调LLM生成和数据库检索
标题: HedraRAG: Coordinating LLM Generation and Database Retrieval in Heterogeneous RAG Serving
摘要: 本文解决了异构检索增强生成(RAG)服务中的新兴系统级挑战,其中复杂的多阶段工作流和多样的请求模式使得高效执行变得复杂。 我们提出了HedraRAG,这是一个基于图抽象的运行时系统,它在阶段级并行性、请求内相似性和请求间偏差方面暴露了优化机会。 这些机会通过动态图转换实现,例如节点拆分、重新排序、边添加和依赖关系重连,应用于跨越并发请求的子图波前。 生成的执行计划被映射到混合CPU-GPU流水线以提高资源利用率并减少延迟。 在广泛范围的RAG工作流上的评估表明,其加速效果超过1.5倍,最高可达5倍,展示了在服务环境中协调生成和检索的有效性。
文献和引用工具
与本文相关的代码,数据和媒体
alphaXiv (什么是 alphaXiv?)
CatalyzeX 代码查找器 (什么是 CatalyzeX?)
DagsHub (什么是 DagsHub?)
Gotit.pub (什么是 GotitPub?)
Hugging Face (什么是 Huggingface?)
带有代码的论文 (什么是带有代码的论文?)
ScienceCast (什么是 ScienceCast?)
演示
推荐器和搜索工具
arXivLabs:与社区合作伙伴的实验项目
arXivLabs 是一个框架,允许合作伙伴直接在我们的网站上开发和分享新的 arXiv 特性。
与 arXivLabs 合作的个人和组织都接受了我们的价值观,即开放、社区、卓越和用户数据隐私。arXiv 承诺这些价值观,并且只与遵守这些价值观的合作伙伴合作。
有一个为 arXiv 社区增加价值的项目想法吗? 了解更多关于 arXivLabs 的信息.