Skip to main content
CenXiv.org
此网站处于试运行阶段,支持我们!
我们衷心感谢所有贡献者的支持。
贡献
赞助
cenxiv logo > cs > arXiv:1209.2784

帮助 | 高级搜索

计算机科学 > 机器学习

arXiv:1209.2784 (cs)
[提交于 2012年9月13日 ]

标题: 最小最大多任务学习和多任务学习的广义损失组合范式

标题: Minimax Multi-Task Learning and a Generalized Loss-Compositional Paradigm for MTL

Authors:Nishant A. Mehta, Dongryeol Lee, Alexander G. Gray
摘要: 自多任务学习(MTL)诞生以来,其操作方式一直是最小化经验风险的任务平均值。 我们引入了一种广义的损失组合范式用于MTL,该范式包含一系列公式作为子族。 这个谱系的一个端点是极小极大MTL:一种新的MTL公式,它最小化各个任务的经验风险的最大值。 通过某种对极小极大MTL的松弛,我们得到一个连续的MTL公式范围,涵盖极小极大MTL和经典MTL。 整个范式本身是损失组合的,作用于经验风险的向量。 它包含了极小极大MTL、它的松弛形式以及许多新的MTL公式作为特例。 我们从理论上证明了极小极大MTL在学习到学习(LTL)测试设置中,倾向于避免新抽取测试任务的最坏结果。 在MTL和LTL测试设置中,几种MTL公式在合成和实际问题上的结果令人鼓舞。
摘要: Since its inception, the modus operandi of multi-task learning (MTL) has been to minimize the task-wise mean of the empirical risks. We introduce a generalized loss-compositional paradigm for MTL that includes a spectrum of formulations as a subfamily. One endpoint of this spectrum is minimax MTL: a new MTL formulation that minimizes the maximum of the tasks' empirical risks. Via a certain relaxation of minimax MTL, we obtain a continuum of MTL formulations spanning minimax MTL and classical MTL. The full paradigm itself is loss-compositional, operating on the vector of empirical risks. It incorporates minimax MTL, its relaxations, and many new MTL formulations as special cases. We show theoretically that minimax MTL tends to avoid worst case outcomes on newly drawn test tasks in the learning to learn (LTL) test setting. The results of several MTL formulations on synthetic and real problems in the MTL and LTL test settings are encouraging.
评论: 出现在NIPS 2012上
主题: 机器学习 (cs.LG) ; 机器学习 (stat.ML)
引用方式: arXiv:1209.2784 [cs.LG]
  (或者 arXiv:1209.2784v1 [cs.LG] 对于此版本)
  https://doi.org/10.48550/arXiv.1209.2784
通过 DataCite 发表的 arXiv DOI

提交历史

来自: Nishant Mehta [查看电子邮件]
[v1] 星期四, 2012 年 9 月 13 日 06:14:31 UTC (53 KB)
全文链接:

获取论文:

    查看标题为《》的 PDF
  • 查看中文 PDF
  • 查看 PDF
  • TeX 源代码
  • 其他格式
查看许可
当前浏览上下文:
cs.LG
< 上一篇   |   下一篇 >
新的 | 最近的 | 2012-09
切换浏览方式为:
cs
stat
stat.ML

参考文献与引用

  • NASA ADS
  • 谷歌学术搜索
  • 语义学者
a 导出 BibTeX 引用 加载中...

BibTeX 格式的引用

×
数据由提供:

收藏

BibSonomy logo Reddit logo

文献和引用工具

文献资源探索 (什么是资源探索?)
连接的论文 (什么是连接的论文?)
Litmaps (什么是 Litmaps?)
scite 智能引用 (什么是智能引用?)

与本文相关的代码,数据和媒体

alphaXiv (什么是 alphaXiv?)
CatalyzeX 代码查找器 (什么是 CatalyzeX?)
DagsHub (什么是 DagsHub?)
Gotit.pub (什么是 GotitPub?)
Hugging Face (什么是 Huggingface?)
带有代码的论文 (什么是带有代码的论文?)
ScienceCast (什么是 ScienceCast?)

演示

复制 (什么是复制?)
Hugging Face Spaces (什么是 Spaces?)
TXYZ.AI (什么是 TXYZ.AI?)

推荐器和搜索工具

影响之花 (什么是影响之花?)
核心推荐器 (什么是核心?)
IArxiv 推荐器 (什么是 IArxiv?)
  • 作者
  • 地点
  • 机构
  • 主题

arXivLabs:与社区合作伙伴的实验项目

arXivLabs 是一个框架,允许合作伙伴直接在我们的网站上开发和分享新的 arXiv 特性。

与 arXivLabs 合作的个人和组织都接受了我们的价值观,即开放、社区、卓越和用户数据隐私。arXiv 承诺这些价值观,并且只与遵守这些价值观的合作伙伴合作。

有一个为 arXiv 社区增加价值的项目想法吗? 了解更多关于 arXivLabs 的信息.

这篇论文的哪些作者是支持者? | 禁用 MathJax (什么是 MathJax?)
  • 关于
  • 帮助
  • contact arXivClick here to contact arXiv 联系
  • 订阅 arXiv 邮件列表点击这里订阅 订阅
  • 版权
  • 隐私政策
  • 网络无障碍帮助
  • arXiv 运营状态
    通过...获取状态通知 email 或者 slack

京ICP备2025123034号