Neural networks: deep, shallow, or in between?

Petrova, Guergana; Wojtaszczyk, Przemyslaw

统计学 > 机器学习

arXiv:2310.07190 (stat)

[提交于 2023年10月11日 ]

标题：神经网络：深度、浅层还是中间？

标题： Neural networks: deep, shallow, or in between?

Authors:Guergana Petrova, Przemyslaw Wojtaszczyk

摘要：我们给出对巴拿赫空间中紧子集由具有宽度 W、深度 l 和 Lipschitz 激活函数的前馈神经网络输出进行逼近误差的下界估计。我们证明，除去对数因子外，只有当深度 l 趋于无穷大时，才有可能达到比熵数速率更好的速率，并且如果我们固定深度并让宽度 W 趋于无穷大，则没有优势。

摘要： We give estimates from below for the error of approximation of a compact subset from a Banach space by the outputs of feed-forward neural networks with width W, depth l and Lipschitz activation functions. We show that, modulo logarithmic factors, rates better that entropy numbers' rates are possibly attainable only for neural networks for which the depth l goes to infinity, and that there is no gain if we fix the depth and let the width W go to infinity.

主题：	机器学习 (stat.ML) ; 机器学习 (cs.LG); 数值分析 (math.NA)
引用方式：	arXiv:2310.07190 [stat.ML]
	(或者 arXiv:2310.07190v1 [stat.ML] 对于此版本)
	https://doi.org/10.48550/arXiv.2310.07190

提交历史

来自： Guergana Petrova [查看电子邮件]
[v1] 星期三， 2023 年 10 月 11 日 04:50:28 UTC (9 KB)

全文链接：

获取论文：

查看许可

当前浏览上下文:

stat.ML

新的 | 最近的 | 2023-10

切换浏览方式为:

cs
cs.LG
cs.NA
math
math.NA
stat

参考文献与引用

导出 BibTeX 引用

统计学 > 机器学习

标题：神经网络：深度、浅层还是中间？

标题： Neural networks: deep, shallow, or in between?

提交历史

获取论文：

参考文献与引用

收藏

文献和引用工具

与本文相关的代码，数据和媒体

演示

推荐器和搜索工具

arXivLabs：与社区合作伙伴的实验项目

统计学 > 机器学习

标题： 神经网络：深度、浅层还是中间？ 显示英文标题

标题： Neural networks: deep, shallow, or in between?

提交历史

获取论文：

参考文献与引用

BibTeX 格式的引用

收藏

文献和引用工具

与本文相关的代码，数据和媒体

演示

推荐器和搜索工具

arXivLabs：与社区合作伙伴的实验项目

标题：神经网络：深度、浅层还是中间？