Skip to main content
CenXiv.org
此网站处于试运行阶段,支持我们!
我们衷心感谢所有贡献者的支持。
贡献
赞助
cenxiv logo > cs > arXiv:2501.00339v3

帮助 | 高级搜索

计算机科学 > 计算与语言

arXiv:2501.00339v3 (cs)
[提交于 2024年12月31日 (v1) ,最后修订 2025年6月6日 (此版本, v3)]

标题: GRASP:使用自适应奇异参数替换冗余层以实现高效的模型压缩

标题: GRASP: Replace Redundant Layers with Adaptive Singular Parameters for Efficient Model Compression

Authors:Kainan Liu, Yong Zhang, Ning Cheng, Zhitao Li, Shaojun Wang, Jing Xiao
摘要: 近期研究表明,大型语言模型(LLMs)中的许多层是功能冗余的,通过移除这些层可以实现模型压缩以减少推理成本。尽管此类方法可以提高效率,但无差别地剪枝层往往会导致显著的性能下降。本文提出了一种名为GRASP(基于梯度的自适应奇异值保留)的新颖压缩框架,通过保留敏感性感知的奇异值来缓解此问题。与直接剪枝层不同,GRASP利用小规模校准数据集上的基于梯度的归因方法自适应地识别和保留关键的奇异分量。通过用最小数量的参数替换冗余层,GRASP实现了高效压缩,同时保持了强大的性能且开销极小。在多个LLMs上的实验表明,GRASP始终优于现有的压缩方法,在20%的压缩比下达到了原始模型90%的性能。
摘要: Recent studies have demonstrated that many layers are functionally redundant in large language models (LLMs), enabling model compression by removing these layers to reduce inference cost. While such approaches can improve efficiency, indiscriminate layer pruning often results in significant performance degradation. In this paper, we propose GRASP (Gradient-based Retention of Adaptive Singular Parameters), a novel compression framework that mitigates this issue by preserving sensitivity-aware singular values. Unlike direct layer pruning, GRASP leverages gradient-based attribution on a small calibration dataset to adaptively identify and retain critical singular components. By replacing redundant layers with only a minimal set of parameters, GRASP achieves efficient compression while maintaining strong performance with minimal overhead. Experiments across multiple LLMs show that GRASP consistently outperforms existing compression methods, achieving 90% of the original model's performance under a 20% compression ratio.
评论: 15页,5幅图
主题: 计算与语言 (cs.CL) ; 机器学习 (cs.LG)
引用方式: arXiv:2501.00339 [cs.CL]
  (或者 arXiv:2501.00339v3 [cs.CL] 对于此版本)
  https://doi.org/10.48550/arXiv.2501.00339
通过 DataCite 发表的 arXiv DOI

提交历史

来自: Kainan Liu [查看电子邮件]
[v1] 星期二, 2024 年 12 月 31 日 08:22:21 UTC (2,701 KB)
[v2] 星期二, 2025 年 2 月 25 日 11:53:48 UTC (1,743 KB)
[v3] 星期五, 2025 年 6 月 6 日 10:26:26 UTC (2,076 KB)
全文链接:

获取论文:

    查看标题为《》的 PDF
  • 查看中文 PDF
  • 查看 PDF
  • HTML(实验性)
  • TeX 源代码
  • 其他格式
查看许可
当前浏览上下文:
cs.CL
< 上一篇   |   下一篇 >
新的 | 最近的 | 2025-01
切换浏览方式为:
cs
cs.LG

参考文献与引用

  • NASA ADS
  • 谷歌学术搜索
  • 语义学者
a 导出 BibTeX 引用 加载中...

BibTeX 格式的引用

×
数据由提供:

收藏

BibSonomy logo Reddit logo

文献和引用工具

文献资源探索 (什么是资源探索?)
连接的论文 (什么是连接的论文?)
Litmaps (什么是 Litmaps?)
scite 智能引用 (什么是智能引用?)

与本文相关的代码,数据和媒体

alphaXiv (什么是 alphaXiv?)
CatalyzeX 代码查找器 (什么是 CatalyzeX?)
DagsHub (什么是 DagsHub?)
Gotit.pub (什么是 GotitPub?)
Hugging Face (什么是 Huggingface?)
带有代码的论文 (什么是带有代码的论文?)
ScienceCast (什么是 ScienceCast?)

演示

复制 (什么是复制?)
Hugging Face Spaces (什么是 Spaces?)
TXYZ.AI (什么是 TXYZ.AI?)

推荐器和搜索工具

影响之花 (什么是影响之花?)
核心推荐器 (什么是核心?)
IArxiv 推荐器 (什么是 IArxiv?)
  • 作者
  • 地点
  • 机构
  • 主题

arXivLabs:与社区合作伙伴的实验项目

arXivLabs 是一个框架,允许合作伙伴直接在我们的网站上开发和分享新的 arXiv 特性。

与 arXivLabs 合作的个人和组织都接受了我们的价值观,即开放、社区、卓越和用户数据隐私。arXiv 承诺这些价值观,并且只与遵守这些价值观的合作伙伴合作。

有一个为 arXiv 社区增加价值的项目想法吗? 了解更多关于 arXivLabs 的信息.

这篇论文的哪些作者是支持者? | 禁用 MathJax (什么是 MathJax?)
  • 关于
  • 帮助
  • contact arXivClick here to contact arXiv 联系
  • 订阅 arXiv 邮件列表点击这里订阅 订阅
  • 版权
  • 隐私政策
  • 网络无障碍帮助
  • arXiv 运营状态
    通过...获取状态通知 email 或者 slack

京ICP备2025123034号