计算机科学 > 机器学习
[提交于 2025年6月3日
]
标题: 多出口科尔莫戈罗夫-阿诺德网络:提高准确性和简洁性
标题: Multi-Exit Kolmogorov-Arnold Networks: enhancing accuracy and parsimony
摘要: Kolmogorov-Arnold网络(KANs)独特地结合了高精度与可解释性,使其在科学建模中具有重要价值。然而,在任何特定任务中,网络需要多深尚不清楚,并且较深的KANs可能难以优化。 在此,我们引入了多出口KANs,其中每一层都包含自己的预测分支,从而使网络能够在多个深度上同时做出准确预测。该架构通过提供深层监督来改进训练,同时为每个任务发现适当的模型复杂度级别。 在合成函数、动态系统和现实世界数据集上,多出口KANs始终优于标准的单出口版本。令人惊讶的是,最佳预测往往来自较早、更简单的出口,这表明这些网络自然识别出更小、更简洁且可解释的模型,而不会牺牲准确性。 为了自动化这一发现过程,我们开发了一种可微分的“学习退出”算法,该算法在训练期间平衡了各出口的贡献。我们的方法为科学家提供了一种实现高性能和可解释性的实用方式,解决了科学发现领域机器学习中的一个基本挑战。
当前浏览上下文:
cs.LG
文献和引用工具
与本文相关的代码,数据和媒体
alphaXiv (什么是 alphaXiv?)
CatalyzeX 代码查找器 (什么是 CatalyzeX?)
DagsHub (什么是 DagsHub?)
Gotit.pub (什么是 GotitPub?)
Hugging Face (什么是 Huggingface?)
带有代码的论文 (什么是带有代码的论文?)
ScienceCast (什么是 ScienceCast?)
演示
推荐器和搜索工具
arXivLabs:与社区合作伙伴的实验项目
arXivLabs 是一个框架,允许合作伙伴直接在我们的网站上开发和分享新的 arXiv 特性。
与 arXivLabs 合作的个人和组织都接受了我们的价值观,即开放、社区、卓越和用户数据隐私。arXiv 承诺这些价值观,并且只与遵守这些价值观的合作伙伴合作。
有一个为 arXiv 社区增加价值的项目想法吗? 了解更多关于 arXivLabs 的信息.