Skip to main content
CenXiv.org
此网站处于试运行阶段,支持我们!
我们衷心感谢所有贡献者的支持。
贡献
赞助
cenxiv logo > cs > arXiv:2506.18810

帮助 | 高级搜索

计算机科学 > 人工智能

arXiv:2506.18810 (cs)
[提交于 2025年6月23日 (v1) ,最后修订 2025年6月24日 (此版本, v2)]

标题: 简洁提示:生成过程中通过连续简洁提示提升高效推理

标题: ConciseHint: Boosting Efficient Reasoning via Continuous Concise Hints during Generation

Authors:Siao Tang, Xinyin Ma, Gongfan Fang, Xinchao Wang
摘要: 大型推理模型(LRMs)如DeepSeek-R1和OpenAI o1系列通过扩展生成长度的思维链(CoT)在复杂推理任务上取得了显著的性能提升。然而,一个新兴的问题是它们倾向于产生过于冗长的推理过程,导致效率问题。现有的提高效率的文献主要遵循推理前的范式,如提示和推理或微调和推理,但忽略了在推理生成过程中直接鼓励模型简洁表达的有前途的方向。为了填补这一空白,我们提出了一种名为ConciseHint的框架,该框架在推理过程的标记生成期间注入文本提示(手动设计或在简洁数据上训练),以持续鼓励推理模型简洁表达。此外,ConciseHint能够通过自适应调整提示强度来适应查询的复杂性,这确保了它不会损害模型性能。在最先进的LRMs(包括DeepSeek-R1和Qwen-3系列)上的实验表明,我们的方法可以在保持性能良好的同时有效生成简洁的推理过程。例如,我们在GSM8K基准测试中使用Qwen-3 4B实现了推理长度65%的减少率,几乎没有任何准确率损失。
摘要: Recent advancements in large reasoning models (LRMs) like DeepSeek-R1 and OpenAI o1 series have achieved notable performance enhancements on complex reasoning tasks by scaling up the generation length by Chain-of-Thought (CoT). However, an emerging issue is their inclination to produce excessively verbose reasoning processes, leading to the inefficiency problem. Existing literature on improving efficiency mainly adheres to the before-reasoning paradigms such as prompting and reasoning or fine-tuning and reasoning, but ignores the promising direction of directly encouraging the model to speak concisely by intervening during the generation of reasoning. In order to fill the blank, we propose a framework dubbed ConciseHint, which continuously encourages the reasoning model to speak concisely by injecting the textual hint (manually designed or trained on the concise data) during the token generation of the reasoning process. Besides, ConciseHint is adaptive to the complexity of the query by adaptively adjusting the hint intensity, which ensures it will not undermine model performance. Experiments on the state-of-the-art LRMs, including DeepSeek-R1 and Qwen-3 series, demonstrate that our method can effectively produce concise reasoning processes while maintaining performance well. For instance, we achieve a reduction ratio of 65\% for the reasoning length on GSM8K benchmark with Qwen-3 4B with nearly no accuracy loss.
评论: 代码可在 https://github.com/tsa18/ConciseHint 获取
主题: 人工智能 (cs.AI) ; 计算与语言 (cs.CL); 计算机视觉与模式识别 (cs.CV)
引用方式: arXiv:2506.18810 [cs.AI]
  (或者 arXiv:2506.18810v2 [cs.AI] 对于此版本)
  https://doi.org/10.48550/arXiv.2506.18810
通过 DataCite 发表的 arXiv DOI

提交历史

来自: Siao Tang [查看电子邮件]
[v1] 星期一, 2025 年 6 月 23 日 16:20:44 UTC (464 KB)
[v2] 星期二, 2025 年 6 月 24 日 13:08:33 UTC (464 KB)
全文链接:

获取论文:

    查看标题为《》的 PDF
  • 查看中文 PDF
  • 查看 PDF
  • HTML(实验性)
  • TeX 源代码
  • 其他格式
许可图标 查看许可
当前浏览上下文:
cs.AI
< 上一篇   |   下一篇 >
新的 | 最近的 | 2025-06
切换浏览方式为:
cs
cs.CL
cs.CV

参考文献与引用

  • NASA ADS
  • 谷歌学术搜索
  • 语义学者
a 导出 BibTeX 引用 加载中...

BibTeX 格式的引用

×
数据由提供:

收藏

BibSonomy logo Reddit logo

文献和引用工具

文献资源探索 (什么是资源探索?)
连接的论文 (什么是连接的论文?)
Litmaps (什么是 Litmaps?)
scite 智能引用 (什么是智能引用?)

与本文相关的代码,数据和媒体

alphaXiv (什么是 alphaXiv?)
CatalyzeX 代码查找器 (什么是 CatalyzeX?)
DagsHub (什么是 DagsHub?)
Gotit.pub (什么是 GotitPub?)
Hugging Face (什么是 Huggingface?)
带有代码的论文 (什么是带有代码的论文?)
ScienceCast (什么是 ScienceCast?)

演示

复制 (什么是复制?)
Hugging Face Spaces (什么是 Spaces?)
TXYZ.AI (什么是 TXYZ.AI?)

推荐器和搜索工具

影响之花 (什么是影响之花?)
核心推荐器 (什么是核心?)
IArxiv 推荐器 (什么是 IArxiv?)
  • 作者
  • 地点
  • 机构
  • 主题

arXivLabs:与社区合作伙伴的实验项目

arXivLabs 是一个框架,允许合作伙伴直接在我们的网站上开发和分享新的 arXiv 特性。

与 arXivLabs 合作的个人和组织都接受了我们的价值观,即开放、社区、卓越和用户数据隐私。arXiv 承诺这些价值观,并且只与遵守这些价值观的合作伙伴合作。

有一个为 arXiv 社区增加价值的项目想法吗? 了解更多关于 arXivLabs 的信息.

这篇论文的哪些作者是支持者? | 禁用 MathJax (什么是 MathJax?)
  • 关于
  • 帮助
  • contact arXivClick here to contact arXiv 联系
  • 订阅 arXiv 邮件列表点击这里订阅 订阅
  • 版权
  • 隐私政策
  • 网络无障碍帮助
  • arXiv 运营状态
    通过...获取状态通知 email 或者 slack

京ICP备2025123034号