标题： 卡尔曼梯度下降：随机优化中的自适应方差缩减 显示英文标题

标题： Kalman Gradient Descent: Adaptive Variance Reduction in Stochastic Optimization

摘要： 我们引入了卡尔曼梯度下降，这是一种随机优化算法，它使用卡尔曼滤波来自适应地减少随机梯度下降中的梯度方差，通过过滤梯度估计。 我们提出了非凸设置下的收敛性理论分析以及实验结果，这些结果展示了在包括神经网络和黑盒变分推理在内的多种机器学习领域中的性能提升。 我们还提出了我们算法的分布式版本，以实现大维度优化，并将我们的算法扩展到带有动量的SGD和RMSProp。 显示英文摘要

摘要： We introduce Kalman Gradient Descent, a stochastic optimization algorithm that uses Kalman filtering to adaptively reduce gradient variance in stochastic gradient descent by filtering the gradient estimates. We present both a theoretical analysis of convergence in a non-convex setting and experimental results which demonstrate improved performance on a variety of machine learning areas including neural networks and black box variational inference. We also present a distributed version of our algorithm that enables large-dimensional optimization, and we extend our algorithm to SGD with momentum and RMSProp.