数学 > 统计理论
[提交于 2012年8月28日
]
标题: 预处理以符合不可表示条件
标题: Preconditioning to comply with the Irrepresentable Condition
摘要: 预处理是一种来自数值线性代数的技术,它可以加速求解方程组的算法。 本文展示了预处理如何规避稀疏线性回归中一致性标志的一个严苛假设。 给定满足标准回归方程的 $X \in R^{n \times p}$ 和 $Y \in R^n$,本文证明了即使设计矩阵 $X$ 不满足Lasso的不可表示条件,设计矩阵 $F X$ 通常也满足该条件,其中 $F \in R^{n\times n}$ 是本文定义的预处理矩阵。 通过在$(F X, F Y)$上计算 Lasso,而不是在$(X, Y)$上计算,对$X$的必要假设变得不那么严格。 我们的预条件器$F$确保设计矩阵的奇异值要么为零,要么为一。 当$n\ge p$时,$F X$的列是正交的,并且预条件器总是避免了严格的假设。 当$p\ge n$时, $F$将设计矩阵投影到Stiefel流形上;$F X$的行是正交的。 我们给出了理论结果和模拟结果,表明在高维情况下,预条件可以帮助规避严格的假设,在线性回归中提高大量模型选择技术的统计性能。 模拟结果尤其令人鼓舞。
文献和引用工具
与本文相关的代码,数据和媒体
alphaXiv (什么是 alphaXiv?)
CatalyzeX 代码查找器 (什么是 CatalyzeX?)
DagsHub (什么是 DagsHub?)
Gotit.pub (什么是 GotitPub?)
Hugging Face (什么是 Huggingface?)
带有代码的论文 (什么是带有代码的论文?)
ScienceCast (什么是 ScienceCast?)
演示
推荐器和搜索工具
arXivLabs:与社区合作伙伴的实验项目
arXivLabs 是一个框架,允许合作伙伴直接在我们的网站上开发和分享新的 arXiv 特性。
与 arXivLabs 合作的个人和组织都接受了我们的价值观,即开放、社区、卓越和用户数据隐私。arXiv 承诺这些价值观,并且只与遵守这些价值观的合作伙伴合作。
有一个为 arXiv 社区增加价值的项目想法吗? 了解更多关于 arXivLabs 的信息.