Skip to main content
CenXiv.org
此网站处于试运行阶段,支持我们!
我们衷心感谢所有贡献者的支持。
贡献
赞助
cenxiv logo > math > arXiv:2012.00807v2

帮助 | 高级搜索

数学 > 统计理论

arXiv:2012.00807v2 (math)
[提交于 2020年12月1日 (v1) ,修订后的 2021年1月20日 (此版本, v2) , 最新版本 2021年10月7日 (v3) ]

标题: 关于最小范数插值器的鲁棒性

标题: On the robustness of minimum-norm interpolators

Authors:Geoffrey Chinot, Matthias Löffler, Sara van de Geer
摘要: 本文开发了一种一般理论,用于在存在加性且可能对抗性误差的线性模型中的最小范数插值估计量。 特别是,对误差没有任何条件限制。 给出了预测误差的定量界,将其与协变量的Rademacher复杂度、误差的最小范数插值器的范数以及真实参数周围次微分的形状相关联。 一般理论通过几个例子进行说明:具有最小$\ell_1$-范数或组Lasso惩罚插值的稀疏线性模型,具有核范数最小化的低秩迹回归模型,以及线性模型中的最小欧几里得范数插值。 在稀疏性或低秩诱导范数的情况下,只要过参数化至少比样本数量大一个对数因子,最小范数插值将产生与平均噪声水平同阶的预测误差。 显示结果接近最优性的下界补充了分析。
摘要: This article develops a general theory for minimum-norm interpolated estimators in linear models in the presence of additive, potentially adversarial, errors. In particular, no conditions on the errors are imposed. A quantitative bound for the prediction error is given, relating it to the Rademacher complexity of the covariates, the norm of the minimum norm interpolator of the errors and the shape of the subdifferential around the true parameter. The general theory is illustrated with several examples: the sparse linear model with minimum $\ell_1$-norm or group Lasso penalty interpolation, the low rank trace regression model with nuclear norm minimization, and minimum Euclidean norm interpolation in the linear model. In case of sparsity or low-rank inducing norms, minimum norm interpolation yields a prediction error of the order of the average noise level, provided that the overparameterization is at least a logarithmic factor larger than the number of samples. Lower bounds that show near optimality of the results complement the analysis.
评论: 27页
主题: 统计理论 (math.ST) ; 信息论 (cs.IT); 数值分析 (math.NA); 机器学习 (stat.ML)
MSC 类: 62J05
引用方式: arXiv:2012.00807 [math.ST]
  (或者 arXiv:2012.00807v2 [math.ST] 对于此版本)
  https://doi.org/10.48550/arXiv.2012.00807
通过 DataCite 发表的 arXiv DOI

提交历史

来自: Matthias Löffler [查看电子邮件]
[v1] 星期二, 2020 年 12 月 1 日 20:03:20 UTC (278 KB)
[v2] 星期三, 2021 年 1 月 20 日 14:37:55 UTC (95 KB)
[v3] 星期四, 2021 年 10 月 7 日 11:49:53 UTC (85 KB)
全文链接:

获取论文:

    查看标题为《》的 PDF
  • 查看中文 PDF
  • 查看 PDF
  • 其他格式
许可图标 查看许可
当前浏览上下文:
math.ST
< 上一篇   |   下一篇 >
新的 | 最近的 | 2020-12
切换浏览方式为:
cs
cs.IT
cs.NA
math
math.IT
math.NA
stat
stat.ML
stat.TH

参考文献与引用

  • NASA ADS
  • 谷歌学术搜索
  • 语义学者
a 导出 BibTeX 引用 加载中...

BibTeX 格式的引用

×
数据由提供:

收藏

BibSonomy logo Reddit logo

文献和引用工具

文献资源探索 (什么是资源探索?)
连接的论文 (什么是连接的论文?)
Litmaps (什么是 Litmaps?)
scite 智能引用 (什么是智能引用?)

与本文相关的代码,数据和媒体

alphaXiv (什么是 alphaXiv?)
CatalyzeX 代码查找器 (什么是 CatalyzeX?)
DagsHub (什么是 DagsHub?)
Gotit.pub (什么是 GotitPub?)
Hugging Face (什么是 Huggingface?)
带有代码的论文 (什么是带有代码的论文?)
ScienceCast (什么是 ScienceCast?)

演示

复制 (什么是复制?)
Hugging Face Spaces (什么是 Spaces?)
TXYZ.AI (什么是 TXYZ.AI?)

推荐器和搜索工具

影响之花 (什么是影响之花?)
核心推荐器 (什么是核心?)
IArxiv 推荐器 (什么是 IArxiv?)
  • 作者
  • 地点
  • 机构
  • 主题

arXivLabs:与社区合作伙伴的实验项目

arXivLabs 是一个框架,允许合作伙伴直接在我们的网站上开发和分享新的 arXiv 特性。

与 arXivLabs 合作的个人和组织都接受了我们的价值观,即开放、社区、卓越和用户数据隐私。arXiv 承诺这些价值观,并且只与遵守这些价值观的合作伙伴合作。

有一个为 arXiv 社区增加价值的项目想法吗? 了解更多关于 arXivLabs 的信息.

这篇论文的哪些作者是支持者? | 禁用 MathJax (什么是 MathJax?)
  • 关于
  • 帮助
  • contact arXivClick here to contact arXiv 联系
  • 订阅 arXiv 邮件列表点击这里订阅 订阅
  • 版权
  • 隐私政策
  • 网络无障碍帮助
  • arXiv 运营状态
    通过...获取状态通知 email 或者 slack

京ICP备2025123034号