On the expressivity of deep Heaviside networks

Kong, Insung; Chen, Juntong; Langer, Sophie; Schmidt-Hieber, Johannes

统计学 > 机器学习

arXiv:2505.00110 (stat)

[提交于 2025年4月30日 ]

标题：关于深度Heaviside网络的表达能力

标题： On the expressivity of deep Heaviside networks

Authors:Insung Kong, Juntong Chen, Sophie Langer, Johannes Schmidt-Hieber

摘要：我们证明深度Heaviside网络（DHNs）的表达能力有限，但可以通过加入跳过连接或具有线性激活函数的神经元来克服这一点。我们为这些网络类提供了Vapnik-Chervonenkis（VC）维数和逼近速率的上下界。作为应用，我们推导了非参数回归模型中DHN拟合的统计收敛速率。

摘要： We show that deep Heaviside networks (DHNs) have limited expressiveness but that this can be overcome by including either skip connections or neurons with linear activation. We provide lower and upper bounds for the Vapnik-Chervonenkis (VC) dimensions and approximation rates of these network classes. As an application, we derive statistical convergence rates for DHN fits in the nonparametric regression model.

评论：	61页，16幅图
主题：	机器学习 (stat.ML) ; 机器学习 (cs.LG); 数值分析 (math.NA)
引用方式：	arXiv:2505.00110 [stat.ML]
	(或者 arXiv:2505.00110v1 [stat.ML] 对于此版本)
	https://doi.org/10.48550/arXiv.2505.00110

提交历史

来自： Insung Kong [查看电子邮件]
[v1] 星期三， 2025 年 4 月 30 日 18:25:05 UTC (100 KB)

全文链接：

获取论文：

查看许可

当前浏览上下文:

stat.ML

新的 | 最近的 | 2025-05

切换浏览方式为:

cs
cs.LG
cs.NA
math
math.NA
stat

参考文献与引用

导出 BibTeX 引用

统计学 > 机器学习

标题：关于深度Heaviside网络的表达能力

标题： On the expressivity of deep Heaviside networks

提交历史

获取论文：

参考文献与引用

收藏

文献和引用工具

与本文相关的代码，数据和媒体

演示

推荐器和搜索工具

arXivLabs：与社区合作伙伴的实验项目

统计学 > 机器学习

标题： 关于深度Heaviside网络的表达能力 显示英文标题

标题： On the expressivity of deep Heaviside networks

提交历史

获取论文：

参考文献与引用

BibTeX 格式的引用

收藏

文献和引用工具

与本文相关的代码，数据和媒体

演示

推荐器和搜索工具

arXivLabs：与社区合作伙伴的实验项目

标题：关于深度Heaviside网络的表达能力