标题： 深度神经网络的有限维高斯近似：随机权重中的普遍性 显示英文标题

标题： Finite-Dimensional Gaussian Approximation for Deep Neural Networks: Universality in Random Weights

摘要： 我们研究具有随机初始化权重且具有有限阶矩的深度神经网络的有限维分布 (FDD)。 具体而言，我们假设一个 Lipschitz 激活函数，并允许层宽度以任意相对速率增长到无穷大，并在 FDD 与其高斯极限之间建立 Wasserstein-$1$ 范数的高斯近似界。 在所有宽度都与公共尺度参数 $n$ 成比例且存在 $L-1$ 个隐藏层的特殊情况下，对于任何 $\epsilon > 0$，我们获得了阶数为 $n^{-({1}/{6})^{L-1} + \epsilon}$ 的收敛速度。 显示英文摘要

摘要： We study the Finite-Dimensional Distributions (FDDs) of deep neural networks with randomly initialized weights that have finite-order moments. Specifically, we establish Gaussian approximation bounds in the Wasserstein-$1$ norm between the FDDs and their Gaussian limit assuming a Lipschitz activation function and allowing the layer widths to grow to infinity at arbitrary relative rates. In the special case where all widths are proportional to a common scale parameter $n$ and there are $L-1$ hidden layers, we obtain convergence rates of order $n^{-({1}/{6})^{L-1} + \epsilon}$, for any $\epsilon > 0$.