计算机科学 > 计算与语言
[提交于 2024年12月31日
(v1)
,最后修订 2025年6月6日 (此版本, v3)]
标题: GRASP:使用自适应奇异参数替换冗余层以实现高效的模型压缩
标题: GRASP: Replace Redundant Layers with Adaptive Singular Parameters for Efficient Model Compression
摘要: 近期研究表明,大型语言模型(LLMs)中的许多层是功能冗余的,通过移除这些层可以实现模型压缩以减少推理成本。尽管此类方法可以提高效率,但无差别地剪枝层往往会导致显著的性能下降。本文提出了一种名为GRASP(基于梯度的自适应奇异值保留)的新颖压缩框架,通过保留敏感性感知的奇异值来缓解此问题。与直接剪枝层不同,GRASP利用小规模校准数据集上的基于梯度的归因方法自适应地识别和保留关键的奇异分量。通过用最小数量的参数替换冗余层,GRASP实现了高效压缩,同时保持了强大的性能且开销极小。在多个LLMs上的实验表明,GRASP始终优于现有的压缩方法,在20%的压缩比下达到了原始模型90%的性能。
文献和引用工具
与本文相关的代码,数据和媒体
alphaXiv (什么是 alphaXiv?)
CatalyzeX 代码查找器 (什么是 CatalyzeX?)
DagsHub (什么是 DagsHub?)
Gotit.pub (什么是 GotitPub?)
Hugging Face (什么是 Huggingface?)
带有代码的论文 (什么是带有代码的论文?)
ScienceCast (什么是 ScienceCast?)
演示
推荐器和搜索工具
arXivLabs:与社区合作伙伴的实验项目
arXivLabs 是一个框架,允许合作伙伴直接在我们的网站上开发和分享新的 arXiv 特性。
与 arXivLabs 合作的个人和组织都接受了我们的价值观,即开放、社区、卓越和用户数据隐私。arXiv 承诺这些价值观,并且只与遵守这些价值观的合作伙伴合作。
有一个为 arXiv 社区增加价值的项目想法吗? 了解更多关于 arXivLabs 的信息.