统计学 > 机器学习
[提交于 2016年7月2日
]
标题: 深度神经网络的群稀疏正则化
标题: Group Sparse Regularization for Deep Neural Networks
摘要: 本文中,我们考虑同时优化以下三个任务:(i) 深度神经网络的权重,(ii) 每个隐藏层的神经元数量,以及 (iii) 活跃输入特征的子集(即特征选择)。尽管这些问题通常被单独处理,我们提出了一种简单的正则化公式,可以使用标准优化程序同时解决这三个问题。具体而言,我们将组 Lasso 惩罚(起源于线性回归文献)扩展,以在网络连接上施加组级稀疏性,其中每个组定义为单元的所有出射权重集合。根据具体情况,权重可以与输入变量、隐藏神经元或偏置单元相关联,从而同时执行所有上述任务以获得紧凑的网络。我们通过与经典的权值衰减和 Lasso 惩罚进行比较,进行了广泛的实验评估。我们表明,组 Lasso 惩罚的稀疏版本能够实现具有竞争力的性能,同时生成更加紧凑且输入特征更少的网络。我们在手写数字识别的玩具数据集以及多个现实中的大规模分类问题上进行了评估。
文献和引用工具
与本文相关的代码,数据和媒体
alphaXiv (什么是 alphaXiv?)
CatalyzeX 代码查找器 (什么是 CatalyzeX?)
DagsHub (什么是 DagsHub?)
Gotit.pub (什么是 GotitPub?)
Hugging Face (什么是 Huggingface?)
带有代码的论文 (什么是带有代码的论文?)
ScienceCast (什么是 ScienceCast?)
演示
推荐器和搜索工具
arXivLabs:与社区合作伙伴的实验项目
arXivLabs 是一个框架,允许合作伙伴直接在我们的网站上开发和分享新的 arXiv 特性。
与 arXivLabs 合作的个人和组织都接受了我们的价值观,即开放、社区、卓越和用户数据隐私。arXiv 承诺这些价值观,并且只与遵守这些价值观的合作伙伴合作。
有一个为 arXiv 社区增加价值的项目想法吗? 了解更多关于 arXivLabs 的信息.