Multivariate Gaussian Variational Inference by Natural Gradient Descent

Barfoot, Timothy D.

统计学 > 机器学习

arXiv:2001.10025v2 (stat)

[提交于 2020年1月27日 (v1) ，最后修订 2020年10月19日 (此版本， v2)]

标题：基于自然梯度下降的多变量高斯变分推断

标题： Multivariate Gaussian Variational Inference by Natural Gradient Descent

Authors:Timothy D. Barfoot

摘要：这篇简短的笔记回顾了多变量高斯分布所谓的自然梯度下降（NGD）。对于高斯分布的不同参数化方式，推导了费舍尔信息矩阵（FIM）。在计算导数时，特别注意了协方差矩阵的对称性。我们表明，选择包含均值和逆协方差矩阵的参数化具有一些优势，并提供了一个简单的NGD更新方法，该方法考虑了逆协方差矩阵的对称性（以及稀疏性）。

摘要： This short note reviews so-called Natural Gradient Descent (NGD) for multivariate Gaussians. The Fisher Information Matrix (FIM) is derived for several different parameterizations of Gaussians. Careful attention is paid to the symmetric nature of the covariance matrix when calculating derivatives. We show that there are some advantages to choosing a parameterization comprising the mean and inverse covariance matrix and provide a simple NGD update that accounts for the symmetric (and sparse) nature of the inverse covariance matrix.

评论：	11页，0图；第二版修正了一个拼写错误
主题：	机器学习 (stat.ML) ; 机器学习 (cs.LG); 机器人技术 (cs.RO); 统计理论 (math.ST)
引用方式：	arXiv:2001.10025 [stat.ML]
	(或者 arXiv:2001.10025v2 [stat.ML] 对于此版本)
	https://doi.org/10.48550/arXiv.2001.10025

提交历史

来自： Tim Barfoot [查看电子邮件]
[v1] 星期一， 2020 年 1 月 27 日 19:20:03 UTC (20 KB)
[v2] 星期一， 2020 年 10 月 19 日 13:54:16 UTC (20 KB)

统计学 > 机器学习

标题：基于自然梯度下降的多变量高斯变分推断

标题： Multivariate Gaussian Variational Inference by Natural Gradient Descent

提交历史

获取论文：

参考文献与引用

收藏

文献和引用工具

与本文相关的代码，数据和媒体

演示

推荐器和搜索工具

arXivLabs：与社区合作伙伴的实验项目

统计学 > 机器学习

标题： 基于自然梯度下降的多变量高斯变分推断 显示英文标题

标题： Multivariate Gaussian Variational Inference by Natural Gradient Descent

提交历史

获取论文：

参考文献与引用

BibTeX 格式的引用

收藏

文献和引用工具

与本文相关的代码，数据和媒体

演示

推荐器和搜索工具

arXivLabs：与社区合作伙伴的实验项目

标题：基于自然梯度下降的多变量高斯变分推断