统计学 > 机器学习
[提交于 2025年7月10日
]
标题: 马洛斯模型与学习距离度量:采样和最大似然估计
标题: Mallows Model with Learned Distance Metrics: Sampling and Maximum Likelihood Estimation
摘要: \textit{马洛斯模型}是一种广泛使用的从排序数据中学习的概率框架,其应用范围从推荐系统和投票到对齐语言模型与人类偏好~\cite{chen2024mallows, kleinberg2021algorithmic, rafailov2024direct}。 在该模型中,观察到的排序是对中心排序$\sigma$的噪声扰动,似然函数随着距离$\sigma$的增加呈指数衰减,即$P (\pi) \propto \exp\big(-\beta \cdot d(\pi, \sigma)\big),$,其中$\beta > 0$控制离散度,$d$是一个距离函数。 现有方法主要关注固定距离(如Kendall的$\tau$距离),没有从数据中直接学习距离度量的原则性方法。 在实践中,排名自然会因上下文而异;例如,在一些运动中我们经常看到远距离交换(低排名队伍击败高排名队伍),而在其他运动中此类事件很少见。 受此启发,我们提出了一种Mallows模型的推广,该模型直接从数据中学习距离度量。 具体来说,我们专注于$L_\alpha$距离: $d_\alpha(\pi,\sigma):=\sum_{i=1} |\pi(i)-\sigma(i)|^\alpha$。 对于任何$\alpha\geq 1$和$\beta>0$,我们开发了一个完全多项式时间近似方案(FPTAS),以高效生成与真实分布在总变分距离上$\epsilon$接近的样本。 即使在$L_1$和$L_2$的特殊情况,这也推广了之前需要消失分散性($\beta\to0$)的结果。 使用这种采样算法,我们提出了一种高效的最大似然估计(MLE)算法,该算法联合估计中心排序、分散参数和最优距离度量。 我们证明了我们的估计量的强一致性结果(对于$\alpha$和$\beta$的任何值),并且我们使用体育排名数据集对我们的方法进行了实证验证。
当前浏览上下文:
stat.ML
文献和引用工具
与本文相关的代码,数据和媒体
alphaXiv (什么是 alphaXiv?)
CatalyzeX 代码查找器 (什么是 CatalyzeX?)
DagsHub (什么是 DagsHub?)
Gotit.pub (什么是 GotitPub?)
Hugging Face (什么是 Huggingface?)
带有代码的论文 (什么是带有代码的论文?)
ScienceCast (什么是 ScienceCast?)
演示
推荐器和搜索工具
arXivLabs:与社区合作伙伴的实验项目
arXivLabs 是一个框架,允许合作伙伴直接在我们的网站上开发和分享新的 arXiv 特性。
与 arXivLabs 合作的个人和组织都接受了我们的价值观,即开放、社区、卓越和用户数据隐私。arXiv 承诺这些价值观,并且只与遵守这些价值观的合作伙伴合作。
有一个为 arXiv 社区增加价值的项目想法吗? 了解更多关于 arXivLabs 的信息.