统计学 > 机器学习
[提交于 2007年11月30日
]
标题: 一种用于压缩贝叶斯模型参数的方法及其在逻辑序列预测模型中的应用
标题: A Method for Compressing Parameters in Bayesian Models with Application to Logistic Sequence Prediction Models
摘要: 贝叶斯分类和回归中高阶交互作用的处理在很大程度上是不可行的,因为需要应用马尔可夫链蒙特卡洛(MCMC)方法,且参数数量会随着阶数的增加而迅速增长。 在本文中,我们展示了如何通过有效减少参数数量来使其可行,利用了对于所有训练案例来说许多交互作用具有相同值的事实。 我们的方法使用一个“压缩”参数来表示与所有训练案例具有相同值的一组模式相关的所有参数之和。 使用对称稳定分布作为原始参数的先验,我们可以轻松找到这些压缩参数的先验。 因此,在使用MCMC训练模型时,我们只需处理更少的压缩参数。 压缩参数的数量可能在考虑最高可能阶数之前就已经收敛。 在模型训练之后,我们可以根据需要将这些压缩参数拆分为原始参数,以对测试案例进行预测。 我们详细展示了如何对逻辑序列预测模型进行参数压缩。 在模拟数据和真实数据上的实验表明,我们的压缩方法确实可以大幅减少参数数量。
文献和引用工具
与本文相关的代码,数据和媒体
alphaXiv (什么是 alphaXiv?)
CatalyzeX 代码查找器 (什么是 CatalyzeX?)
DagsHub (什么是 DagsHub?)
Gotit.pub (什么是 GotitPub?)
Hugging Face (什么是 Huggingface?)
带有代码的论文 (什么是带有代码的论文?)
ScienceCast (什么是 ScienceCast?)
演示
推荐器和搜索工具
arXivLabs:与社区合作伙伴的实验项目
arXivLabs 是一个框架,允许合作伙伴直接在我们的网站上开发和分享新的 arXiv 特性。
与 arXivLabs 合作的个人和组织都接受了我们的价值观,即开放、社区、卓越和用户数据隐私。arXiv 承诺这些价值观,并且只与遵守这些价值观的合作伙伴合作。
有一个为 arXiv 社区增加价值的项目想法吗? 了解更多关于 arXivLabs 的信息.