计算机科学 > 计算机与社会
[提交于 2025年1月14日
]
标题: 解决可持续AI的三难问题:大型语言模型代理与RAG的案例研究
标题: Addressing the sustainable AI trilemma: a case study on LLM agents and RAG
摘要: 大型语言模型(LLMs)已展现出显著的能力,但其广泛部署和更高级的应用引发了关键的可持续性挑战,尤其是在推理能耗方面。 我们提出了可持续人工智能三角困境的概念,突出了人工智能能力、数字公平性和环境可持续性之间的矛盾。 通过针对大型语言模型代理和检索增强生成(RAG)的系统案例研究,我们分析了内存模块设计中嵌入的能耗成本,并引入了新的指标来量化能耗与系统性能之间的权衡。 我们的实验结果揭示了当前增强内存框架中的显著能耗低效问题,并表明资源受限环境面临不成比例的效率惩罚。 我们的研究结果挑战了代理设计中以大型语言模型为中心的主流范式,并为开发更可持续的人工智能系统提供了实用见解。
文献和引用工具
与本文相关的代码,数据和媒体
alphaXiv (什么是 alphaXiv?)
CatalyzeX 代码查找器 (什么是 CatalyzeX?)
DagsHub (什么是 DagsHub?)
Gotit.pub (什么是 GotitPub?)
Hugging Face (什么是 Huggingface?)
带有代码的论文 (什么是带有代码的论文?)
ScienceCast (什么是 ScienceCast?)
演示
推荐器和搜索工具
arXivLabs:与社区合作伙伴的实验项目
arXivLabs 是一个框架,允许合作伙伴直接在我们的网站上开发和分享新的 arXiv 特性。
与 arXivLabs 合作的个人和组织都接受了我们的价值观,即开放、社区、卓越和用户数据隐私。arXiv 承诺这些价值观,并且只与遵守这些价值观的合作伙伴合作。
有一个为 arXiv 社区增加价值的项目想法吗? 了解更多关于 arXivLabs 的信息.