计算机科学 > 计算与语言
[提交于 2025年11月6日
]
标题: 逻辑熵自适应停止启发式方法用于高效的思维链推理
标题: Logit-Entropy Adaptive Stopping Heuristic for Efficient Chain-of-Thought Reasoning
摘要: 链式思维(CoT)提示是使大型语言模型具备复杂推理能力的关键技术。 然而,生成完整且固定长度的推理过程在计算上是浪费的,增加了令牌使用量和延迟。 我们引入LEASH:Logit-Entropy Adaptive Stopping Heuristic,这是一种无需训练的解码算法,能够自适应地停止推理生成。 LEASH监控两个内在信号:令牌级熵的斜率和top-logit边际的改进。 一旦这两个信号达到平稳状态,表示模型已经达到了稳定的推理状态,就会终止生成。 在GSM8K和AQuA-RAT基准上的四个指令调优模型中,LEASH将平均令牌生成量减少了30--35%,延迟减少了27%,而相对于CoT的准确性下降了10个百分点。 LEASH与模型无关,不需要额外的训练或监督,为CoT解码提供了一种简单高效的替代方案。
文献和引用工具
与本文相关的代码,数据和媒体
alphaXiv (什么是 alphaXiv?)
CatalyzeX 代码查找器 (什么是 CatalyzeX?)
DagsHub (什么是 DagsHub?)
Gotit.pub (什么是 GotitPub?)
Hugging Face (什么是 Huggingface?)
带有代码的论文 (什么是带有代码的论文?)
ScienceCast (什么是 ScienceCast?)
演示
推荐器和搜索工具
arXivLabs:与社区合作伙伴的实验项目
arXivLabs 是一个框架,允许合作伙伴直接在我们的网站上开发和分享新的 arXiv 特性。
与 arXivLabs 合作的个人和组织都接受了我们的价值观,即开放、社区、卓越和用户数据隐私。arXiv 承诺这些价值观,并且只与遵守这些价值观的合作伙伴合作。
有一个为 arXiv 社区增加价值的项目想法吗? 了解更多关于 arXivLabs 的信息.