统计学 > 机器学习
[提交于 2025年10月14日
]
标题: Softmax门控高斯专家混合模型的混合度树状图:无需模型扫描的一致性
标题: Dendrograms of Mixing Measures for Softmax-Gated Gaussian Mixture of Experts: Consistency without Model Sweeps
摘要: 我们开发了一个统一的统计框架,用于softmax门控高斯专家混合模型(SGMoE),解决了参数估计和模型选择中的三个长期障碍:(i) 门控参数在共同平移下的不可识别性,(ii) 内在的门控-专家相互作用导致似然中的耦合微分关系,以及(iii) softmax引起的条件密度中的紧密分子分母耦合。 我们的方法引入了与门控划分几何对齐的Voronoi型损失函数,并建立了最大似然估计量(MLE)的有限样本收敛速率。 在过参数化模型中,我们揭示了MLE的收敛速率与关联多项式方程组可解性的联系,这些方程组表征了接近不可识别的方向。 对于模型选择,我们将混合测度的树状图适应于SGMoE,得到一个一致的、无需扫描的专家数量选择器,在过拟合下达到点最优参数速率,同时避免多尺寸训练。 在合成数据上的模拟验证了理论,准确恢复了专家数量,并实现了参数估计的预测速率,同时密切逼近回归函数。 在模型误指的情况下(例如$\epsilon$污染),树状图选择准则具有鲁棒性,恢复了真实的混合成分数量,而Akaike信息准则、贝叶斯信息准则和综合完成似然则随着样本量增加倾向于过度选择。 在干旱响应性状的玉米蛋白质组学数据集上,我们的树状图引导的SGMoE选择了两个专家,揭示了清晰的混合测度层次结构,早期稳定了似然,并产生了可解释的基因型-表型图,优于标准准则,且无需多尺寸训练。
当前浏览上下文:
stat.ML
文献和引用工具
与本文相关的代码,数据和媒体
alphaXiv (什么是 alphaXiv?)
CatalyzeX 代码查找器 (什么是 CatalyzeX?)
DagsHub (什么是 DagsHub?)
Gotit.pub (什么是 GotitPub?)
Hugging Face (什么是 Huggingface?)
带有代码的论文 (什么是带有代码的论文?)
ScienceCast (什么是 ScienceCast?)
演示
推荐器和搜索工具
arXivLabs:与社区合作伙伴的实验项目
arXivLabs 是一个框架,允许合作伙伴直接在我们的网站上开发和分享新的 arXiv 特性。
与 arXivLabs 合作的个人和组织都接受了我们的价值观,即开放、社区、卓越和用户数据隐私。arXiv 承诺这些价值观,并且只与遵守这些价值观的合作伙伴合作。
有一个为 arXiv 社区增加价值的项目想法吗? 了解更多关于 arXivLabs 的信息.