计算机科学 > 人工智能
[提交于 2025年6月23日
(v1)
,最后修订 2025年6月24日 (此版本, v2)]
标题: 简洁提示:生成过程中通过连续简洁提示提升高效推理
标题: ConciseHint: Boosting Efficient Reasoning via Continuous Concise Hints during Generation
摘要: 大型推理模型(LRMs)如DeepSeek-R1和OpenAI o1系列通过扩展生成长度的思维链(CoT)在复杂推理任务上取得了显著的性能提升。然而,一个新兴的问题是它们倾向于产生过于冗长的推理过程,导致效率问题。现有的提高效率的文献主要遵循推理前的范式,如提示和推理或微调和推理,但忽略了在推理生成过程中直接鼓励模型简洁表达的有前途的方向。为了填补这一空白,我们提出了一种名为ConciseHint的框架,该框架在推理过程的标记生成期间注入文本提示(手动设计或在简洁数据上训练),以持续鼓励推理模型简洁表达。此外,ConciseHint能够通过自适应调整提示强度来适应查询的复杂性,这确保了它不会损害模型性能。在最先进的LRMs(包括DeepSeek-R1和Qwen-3系列)上的实验表明,我们的方法可以在保持性能良好的同时有效生成简洁的推理过程。例如,我们在GSM8K基准测试中使用Qwen-3 4B实现了推理长度65%的减少率,几乎没有任何准确率损失。
文献和引用工具
与本文相关的代码,数据和媒体
alphaXiv (什么是 alphaXiv?)
CatalyzeX 代码查找器 (什么是 CatalyzeX?)
DagsHub (什么是 DagsHub?)
Gotit.pub (什么是 GotitPub?)
Hugging Face (什么是 Huggingface?)
带有代码的论文 (什么是带有代码的论文?)
ScienceCast (什么是 ScienceCast?)
演示
推荐器和搜索工具
arXivLabs:与社区合作伙伴的实验项目
arXivLabs 是一个框架,允许合作伙伴直接在我们的网站上开发和分享新的 arXiv 特性。
与 arXivLabs 合作的个人和组织都接受了我们的价值观,即开放、社区、卓越和用户数据隐私。arXiv 承诺这些价值观,并且只与遵守这些价值观的合作伙伴合作。
有一个为 arXiv 社区增加价值的项目想法吗? 了解更多关于 arXivLabs 的信息.