计算机科学 > 计算与语言
[提交于 2025年1月3日
(v1)
,最后修订 2025年6月26日 (此版本, v2)]
标题: 端到端长文档摘要生成使用梯度缓存
标题: End-to-End Long Document Summarization using Gradient Caching
摘要: 由于训练过程中内存消耗呈平方级增长,训练基于 Transformer 的编解码器模型进行长文档摘要是一项艰巨的挑战。 目前已提出多种方法来延长测试时的输入长度,但使用这些方法进行训练仍然困难重重,需要截断输入文档,并导致训练和测试条件不匹配。 在本研究中,我们提出了 CachED(针对 E 编码器和 D 编码器模型的梯度缓存),这种方法能够对现有的基于 Transformer 的编解码器模型进行端到端训练,并且无需截断输入文档。 具体来说,我们对输入文档应用不重叠的滑动窗口,然后在解码器中进行融合。 在反向传播过程中,梯度会被缓存在解码器中,并通过重新计算隐藏向量,以类似于梯度检查点的方式,将其分块传递给编码器。 在长文档摘要实验中,我们将 BART 扩展为 CachED BART,在训练期间处理超过 500K 个标记,并且在不使用任何其他参数的情况下实现了卓越的性能。
文献和引用工具
与本文相关的代码,数据和媒体
alphaXiv (什么是 alphaXiv?)
CatalyzeX 代码查找器 (什么是 CatalyzeX?)
DagsHub (什么是 DagsHub?)
Gotit.pub (什么是 GotitPub?)
Hugging Face (什么是 Huggingface?)
带有代码的论文 (什么是带有代码的论文?)
ScienceCast (什么是 ScienceCast?)
演示
推荐器和搜索工具
arXivLabs:与社区合作伙伴的实验项目
arXivLabs 是一个框架,允许合作伙伴直接在我们的网站上开发和分享新的 arXiv 特性。
与 arXivLabs 合作的个人和组织都接受了我们的价值观,即开放、社区、卓越和用户数据隐私。arXiv 承诺这些价值观,并且只与遵守这些价值观的合作伙伴合作。
有一个为 arXiv 社区增加价值的项目想法吗? 了解更多关于 arXivLabs 的信息.