Skip to main content
CenXiv.org
此网站处于试运行阶段,支持我们!
我们衷心感谢所有贡献者的支持。
贡献
赞助
cenxiv logo > stat > arXiv:1810.05546

帮助 | 高级搜索

统计学 > 机器学习

arXiv:1810.05546 (stat)
[提交于 2018年10月12日 (v1) ,最后修订 2020年2月26日 (此版本, v5)]

标题: 神经网络中的不确定性:近似贝叶斯集成

标题: Uncertainty in Neural Networks: Approximately Bayesian Ensembling

Authors:Tim Pearce, Felix Leibfried, Alexandra Brintrup, Mohamed Zaki, Andy Neely
摘要: 理解神经网络(NN)预测的不确定性对于许多目的都是至关重要的。贝叶斯框架为此提供了一种合理的方法,然而由于参数和数据数量庞大,将其应用于NNs具有挑战性。集成NNs提供了一种易于实现且可扩展的不确定性量化方法,然而它一直受到批评,因为它不是贝叶斯的。这项工作提出对通常过程的一个修改,我们认为这确实会导致近似贝叶斯推理;对从可以设置为先验分布中抽取的值进行参数正则化。在简化设置中的理论分析表明,恢复的后验分布中心是正确的,但倾向于低估边缘方差并高估相关性。然而,两个条件可能导致精确恢复。我们认为这些条件在NNs中部分存在。实证评估表明它比标准集成有优势,并且与变分方法相当。
摘要: Understanding the uncertainty of a neural network's (NN) predictions is essential for many purposes. The Bayesian framework provides a principled approach to this, however applying it to NNs is challenging due to large numbers of parameters and data. Ensembling NNs provides an easily implementable, scalable method for uncertainty quantification, however, it has been criticised for not being Bayesian. This work proposes one modification to the usual process that we argue does result in approximate Bayesian inference; regularising parameters about values drawn from a distribution which can be set equal to the prior. A theoretical analysis of the procedure in a simplified setting suggests the recovered posterior is centred correctly but tends to have an underestimated marginal variance, and overestimated correlation. However, two conditions can lead to exact recovery. We argue that these conditions are partially present in NNs. Empirical evaluations demonstrate it has an advantage over standard ensembling, and is competitive with variational methods.
评论: 请引用发表于AISTATS 2020的文献
主题: 机器学习 (stat.ML) ; 机器学习 (cs.LG)
引用方式: arXiv:1810.05546 [stat.ML]
  (或者 arXiv:1810.05546v5 [stat.ML] 对于此版本)
  https://doi.org/10.48550/arXiv.1810.05546
通过 DataCite 发表的 arXiv DOI
期刊参考: The 23rd International Conference on Artificial Intelligence and Statistics, AISTATS 2020

提交历史

来自: Tim Pearce [查看电子邮件]
[v1] 星期五, 2018 年 10 月 12 日 14:26:34 UTC (2,855 KB)
[v2] 星期一, 2018 年 10 月 22 日 11:07:20 UTC (2,855 KB)
[v3] 星期日, 2019 年 1 月 27 日 13:22:11 UTC (3,695 KB)
[v4] 星期一, 2019 年 10 月 14 日 16:14:46 UTC (4,499 KB)
[v5] 星期三, 2020 年 2 月 26 日 12:21:59 UTC (4,501 KB)
全文链接:

获取论文:

    查看标题为《》的 PDF
  • 查看中文 PDF
  • 查看 PDF
  • TeX 源代码
  • 其他格式
查看许可
当前浏览上下文:
stat.ML
< 上一篇   |   下一篇 >
新的 | 最近的 | 2018-10
切换浏览方式为:
cs
cs.LG
stat

参考文献与引用

  • NASA ADS
  • 谷歌学术搜索
  • 语义学者
a 导出 BibTeX 引用 加载中...

BibTeX 格式的引用

×
数据由提供:

收藏

BibSonomy logo Reddit logo

文献和引用工具

文献资源探索 (什么是资源探索?)
连接的论文 (什么是连接的论文?)
Litmaps (什么是 Litmaps?)
scite 智能引用 (什么是智能引用?)

与本文相关的代码,数据和媒体

alphaXiv (什么是 alphaXiv?)
CatalyzeX 代码查找器 (什么是 CatalyzeX?)
DagsHub (什么是 DagsHub?)
Gotit.pub (什么是 GotitPub?)
Hugging Face (什么是 Huggingface?)
带有代码的论文 (什么是带有代码的论文?)
ScienceCast (什么是 ScienceCast?)

演示

复制 (什么是复制?)
Hugging Face Spaces (什么是 Spaces?)
TXYZ.AI (什么是 TXYZ.AI?)

推荐器和搜索工具

影响之花 (什么是影响之花?)
核心推荐器 (什么是核心?)
IArxiv 推荐器 (什么是 IArxiv?)
  • 作者
  • 地点
  • 机构
  • 主题

arXivLabs:与社区合作伙伴的实验项目

arXivLabs 是一个框架,允许合作伙伴直接在我们的网站上开发和分享新的 arXiv 特性。

与 arXivLabs 合作的个人和组织都接受了我们的价值观,即开放、社区、卓越和用户数据隐私。arXiv 承诺这些价值观,并且只与遵守这些价值观的合作伙伴合作。

有一个为 arXiv 社区增加价值的项目想法吗? 了解更多关于 arXivLabs 的信息.

这篇论文的哪些作者是支持者? | 禁用 MathJax (什么是 MathJax?)
  • 关于
  • 帮助
  • contact arXivClick here to contact arXiv 联系
  • 订阅 arXiv 邮件列表点击这里订阅 订阅
  • 版权
  • 隐私政策
  • 网络无障碍帮助
  • arXiv 运营状态
    通过...获取状态通知 email 或者 slack

京ICP备2025123034号