Skip to main content
CenXiv.org
此网站处于试运行阶段,支持我们!
我们衷心感谢所有贡献者的支持。
贡献
赞助
cenxiv logo > stat > arXiv:1708.09811v1

帮助 | 高级搜索

统计学 > 机器学习

arXiv:1708.09811v1 (stat)
[提交于 2017年8月31日 ]

标题: 高效追踪不断增长的专家数量

标题: Efficient tracking of a growing number of experts

Authors:Jaouad Mourtada, Odalric-Ambrym Maillard
摘要: 我们研究了带专家建议预测问题的一个变种,在这个变种中,每一轮都可能出现之前未知的新预测者。 正如在带专家建议的预测中经常遇到的情况一样,利用专家聚合的方法设计一个接近最优遗憾保证的算法是直接明了的。 然而,当比较类足够丰富时,例如,当最佳专家和专家集合本身随时间变化时,这种策略通常需要维护大量的权重(通常是指数级的时间范围)。 相比之下,设计既能实现接近最优遗憾又能维持合理数量权重的策略则极具挑战性。 我们考虑了三种逐渐增加难度的目标(简单遗憾、动态遗憾和稀疏动态遗憾),这些目标扩展了针对固定专家集合定义的传统概念;在每种情况下,我们都设计出了可以达到紧致遗憾界限的策略,并且这些界限能自适应地调整到比较类的参数,同时计算成本低廉。 此外,我们的算法是随时可用的,对新来的专家数量无依赖,并且完全不需要设定参数。 这些令人瞩目的成果得益于两种简单但非常有效的技巧:首先是从专家框架中引入的“弃权技巧”,它能够处理最不具挑战性的遗憾概念,但在解决更复杂的目标时受到限制。 其次是我们引入的“静音技巧”,以提供更大的灵活性。 我们展示了如何结合这两种技巧来处理最具挑战性的比较策略类别。
摘要: We consider a variation on the problem of prediction with expert advice, where new forecasters that were unknown until then may appear at each round. As often in prediction with expert advice, designing an algorithm that achieves near-optimal regret guarantees is straightforward, using aggregation of experts. However, when the comparison class is sufficiently rich, for instance when the best expert and the set of experts itself changes over time, such strategies naively require to maintain a prohibitive number of weights (typically exponential with the time horizon). By contrast, designing strategies that both achieve a near-optimal regret and maintain a reasonable number of weights is highly non-trivial. We consider three increasingly challenging objectives (simple regret, shifting regret and sparse shifting regret) that extend existing notions defined for a fixed expert ensemble; in each case, we design strategies that achieve tight regret bounds, adaptive to the parameters of the comparison class, while being computationally inexpensive. Moreover, our algorithms are anytime, agnostic to the number of incoming experts and completely parameter-free. Such remarkable results are made possible thanks to two simple but highly effective recipes: first the "abstention trick" that comes from the specialist framework and enables to handle the least challenging notions of regret, but is limited when addressing more sophisticated objectives. Second, the "muting trick" that we introduce to give more flexibility. We show how to combine these two tricks in order to handle the most challenging class of comparison strategies.
评论: 发表在第28届算法学习理论国际会议(ALT 2017) proceedings 中
主题: 机器学习 (stat.ML) ; 机器学习 (cs.LG)
引用方式: arXiv:1708.09811 [stat.ML]
  (或者 arXiv:1708.09811v1 [stat.ML] 对于此版本)
  https://doi.org/10.48550/arXiv.1708.09811
通过 DataCite 发表的 arXiv DOI

提交历史

来自: Jaouad Mourtada [查看电子邮件]
[v1] 星期四, 2017 年 8 月 31 日 16:45:14 UTC (34 KB)
全文链接:

获取论文:

    查看标题为《》的 PDF
  • 查看中文 PDF
  • 查看 PDF
  • TeX 源代码
  • 其他格式
查看许可
当前浏览上下文:
stat.ML
< 上一篇   |   下一篇 >
新的 | 最近的 | 2017-08
切换浏览方式为:
cs
cs.LG
stat

参考文献与引用

  • NASA ADS
  • 谷歌学术搜索
  • 语义学者
a 导出 BibTeX 引用 加载中...

BibTeX 格式的引用

×
数据由提供:

收藏

BibSonomy logo Reddit logo

文献和引用工具

文献资源探索 (什么是资源探索?)
连接的论文 (什么是连接的论文?)
Litmaps (什么是 Litmaps?)
scite 智能引用 (什么是智能引用?)

与本文相关的代码,数据和媒体

alphaXiv (什么是 alphaXiv?)
CatalyzeX 代码查找器 (什么是 CatalyzeX?)
DagsHub (什么是 DagsHub?)
Gotit.pub (什么是 GotitPub?)
Hugging Face (什么是 Huggingface?)
带有代码的论文 (什么是带有代码的论文?)
ScienceCast (什么是 ScienceCast?)

演示

复制 (什么是复制?)
Hugging Face Spaces (什么是 Spaces?)
TXYZ.AI (什么是 TXYZ.AI?)

推荐器和搜索工具

影响之花 (什么是影响之花?)
核心推荐器 (什么是核心?)
IArxiv 推荐器 (什么是 IArxiv?)
  • 作者
  • 地点
  • 机构
  • 主题

arXivLabs:与社区合作伙伴的实验项目

arXivLabs 是一个框架,允许合作伙伴直接在我们的网站上开发和分享新的 arXiv 特性。

与 arXivLabs 合作的个人和组织都接受了我们的价值观,即开放、社区、卓越和用户数据隐私。arXiv 承诺这些价值观,并且只与遵守这些价值观的合作伙伴合作。

有一个为 arXiv 社区增加价值的项目想法吗? 了解更多关于 arXivLabs 的信息.

这篇论文的哪些作者是支持者? | Disable MathJax (什么是 MathJax?)
  • 关于
  • 帮助
  • contact arXivClick here to contact arXiv 联系
  • 订阅 arXiv 邮件列表点击这里订阅 订阅
  • 版权
  • 隐私政策
  • 网络无障碍帮助
  • arXiv 运营状态
    通过...获取状态通知 email 或者 slack

京ICP备2025123034号