Skip to main content
CenXiv.org
此网站处于试运行阶段,支持我们!
我们衷心感谢所有贡献者的支持。
贡献
赞助
cenxiv logo > stat > arXiv:1706.00098

帮助 | 高级搜索

统计学 > 机器学习

arXiv:1706.00098 (stat)
[提交于 2017年5月31日 (v1) ,最后修订 2018年12月18日 (此版本, v2)]

标题: 贝叶斯$l_0$-正则化最小二乘法

标题: Bayesian $l_0$-regularized Least Squares

Authors:Nicholas G. Polson, Lei Sun
摘要: 贝叶斯$l_0$-正则化最小二乘法是一种针对高维预测变量的变量选择技术。 挑战在于通过搜索模型空间(即所有可能的预测变量组合)来优化非凸目标函数。 尖峰-滑动(又称伯努利-高斯)先验是贝叶斯变量选择的标准方法,但存在计算速度和可扩展性的问题。 单次最佳替换(SBR)提供了一种快速且可扩展的替代方案。 我们建立了贝叶斯正则化与近端更新之间的联系,这表明找到后验模式与使用不同正则化先验的后验均值是等价的。 这使我们可以利用SBR找到尖峰-滑动估计量。 为了说明我们的方法,我们提供了模拟证据以及基于SBR与直接使用尖峰-滑动先验进行后验采样的统计性质和计算效率的真实数据实例。 最后,我们提出了未来研究的方向。
摘要: Bayesian $l_0$-regularized least squares is a variable selection technique for high dimensional predictors. The challenge is optimizing a non-convex objective function via search over model space consisting of all possible predictor combinations. Spike-and-slab (a.k.a. Bernoulli-Gaussian) priors are the gold standard for Bayesian variable selection, with a caveat of computational speed and scalability. Single Best Replacement (SBR) provides a fast scalable alternative. We provide a link between Bayesian regularization and proximal updating, which provides an equivalence between finding a posterior mode and a posterior mean with a different regularization prior. This allows us to use SBR to find the spike-and-slab estimator. To illustrate our methodology, we provide simulation evidence and a real data example on the statistical properties and computational efficiency of SBR versus direct posterior sampling using spike-and-slab priors. Finally, we conclude with directions for future research.
评论: 22页,6幅图,1张表
主题: 机器学习 (stat.ML) ; 计算 (stat.CO)
MSC 类: 62-04
引用方式: arXiv:1706.00098 [stat.ML]
  (或者 arXiv:1706.00098v2 [stat.ML] 对于此版本)
  https://doi.org/10.48550/arXiv.1706.00098
通过 DataCite 发表的 arXiv DOI
相关 DOI: https://doi.org/10.1002/asmb.2381
链接到相关资源的 DOI

提交历史

来自: Lei Sun [查看电子邮件]
[v1] 星期三, 2017 年 5 月 31 日 21:29:40 UTC (498 KB)
[v2] 星期二, 2018 年 12 月 18 日 17:10:53 UTC (68 KB)
全文链接:

获取论文:

    查看标题为《》的 PDF
  • 查看中文 PDF
  • 查看 PDF
  • TeX 源代码
  • 其他格式
许可图标 查看许可
当前浏览上下文:
stat.ML
< 上一篇   |   下一篇 >
新的 | 最近的 | 2017-06
切换浏览方式为:
stat
stat.CO

参考文献与引用

  • NASA ADS
  • 谷歌学术搜索
  • 语义学者
a 导出 BibTeX 引用 加载中...

BibTeX 格式的引用

×
数据由提供:

收藏

BibSonomy logo Reddit logo

文献和引用工具

文献资源探索 (什么是资源探索?)
连接的论文 (什么是连接的论文?)
Litmaps (什么是 Litmaps?)
scite 智能引用 (什么是智能引用?)

与本文相关的代码,数据和媒体

alphaXiv (什么是 alphaXiv?)
CatalyzeX 代码查找器 (什么是 CatalyzeX?)
DagsHub (什么是 DagsHub?)
Gotit.pub (什么是 GotitPub?)
Hugging Face (什么是 Huggingface?)
带有代码的论文 (什么是带有代码的论文?)
ScienceCast (什么是 ScienceCast?)

演示

复制 (什么是复制?)
Hugging Face Spaces (什么是 Spaces?)
TXYZ.AI (什么是 TXYZ.AI?)

推荐器和搜索工具

影响之花 (什么是影响之花?)
核心推荐器 (什么是核心?)
IArxiv 推荐器 (什么是 IArxiv?)
  • 作者
  • 地点
  • 机构
  • 主题

arXivLabs:与社区合作伙伴的实验项目

arXivLabs 是一个框架,允许合作伙伴直接在我们的网站上开发和分享新的 arXiv 特性。

与 arXivLabs 合作的个人和组织都接受了我们的价值观,即开放、社区、卓越和用户数据隐私。arXiv 承诺这些价值观,并且只与遵守这些价值观的合作伙伴合作。

有一个为 arXiv 社区增加价值的项目想法吗? 了解更多关于 arXivLabs 的信息.

这篇论文的哪些作者是支持者? | Disable MathJax (什么是 MathJax?)
  • 关于
  • 帮助
  • contact arXivClick here to contact arXiv 联系
  • 订阅 arXiv 邮件列表点击这里订阅 订阅
  • 版权
  • 隐私政策
  • 网络无障碍帮助
  • arXiv 运营状态
    通过...获取状态通知 email 或者 slack

京ICP备2025123034号