Skip to main content
CenXiv.org
此网站处于试运行阶段,支持我们!
我们衷心感谢所有贡献者的支持。
贡献
赞助
cenxiv logo > cs > arXiv:2510.25670

帮助 | 高级搜索

计算机科学 > 机器学习

arXiv:2510.25670 (cs)
[提交于 2025年10月29日 ]

标题: 谱扰动界限用于低秩逼近及其在隐私中的应用

标题: Spectral Perturbation Bounds for Low-Rank Approximation with Applications to Privacy

Authors:Phuc Tran, Nisheeth K. Vishnoi, Van H. Vu
摘要: 机器学习中的一个核心挑战是理解噪声或测量误差如何影响低秩逼近,尤其是在谱范数下。 这个问题在差分隐私低秩逼近中尤为重要,其中目标是在保持数据生成矩阵的顶部-$p$结构的同时确保隐私。 先前的工作通常分析Frobenius范数误差或重建质量的变化,但这些指标可能会高估或低估真实的子空间失真。 相比之下,谱范数可以捕捉最坏情况下的方向误差,并提供最强的效用保证。 我们建立了对称矩阵的新高概率谱范数扰动界限,改进了经典的Eckart--Young--Mirsky定理,并明确捕捉了矩阵 $A \in \mathbb{R}^{n \times n}$ 与任意对称扰动 $E$ 之间的相互作用。 在适度的特征间隔和范数条件下,我们的界为$\|(A + E)_p - A_p\|$提供了精确的估计,其中$A_p$是$A$的最佳秩-$p$逼近,改进幅度可达因子$\sqrt{n}$。 作为应用,我们推导了差分隐私主成分分析的改进效用保证,解决了文献中的一个开放问题。 我们的分析依赖于复分析中的一种新颖的轮廓自举方法,并将其扩展到包括多项式和矩阵指数在内的广泛谱泛函类。 在真实数据集上的实验结果证实,我们的界在多种扰动条件下紧密跟踪实际的谱误差。
摘要: A central challenge in machine learning is to understand how noise or measurement errors affect low-rank approximations, particularly in the spectral norm. This question is especially important in differentially private low-rank approximation, where one aims to preserve the top-$p$ structure of a data-derived matrix while ensuring privacy. Prior work often analyzes Frobenius norm error or changes in reconstruction quality, but these metrics can over- or under-estimate true subspace distortion. The spectral norm, by contrast, captures worst-case directional error and provides the strongest utility guarantees. We establish new high-probability spectral-norm perturbation bounds for symmetric matrices that refine the classical Eckart--Young--Mirsky theorem and explicitly capture interactions between a matrix $A \in \mathbb{R}^{n \times n}$ and an arbitrary symmetric perturbation $E$. Under mild eigengap and norm conditions, our bounds yield sharp estimates for $\|(A + E)_p - A_p\|$, where $A_p$ is the best rank-$p$ approximation of $A$, with improvements of up to a factor of $\sqrt{n}$. As an application, we derive improved utility guarantees for differentially private PCA, resolving an open problem in the literature. Our analysis relies on a novel contour bootstrapping method from complex analysis and extends it to a broad class of spectral functionals, including polynomials and matrix exponentials. Empirical results on real-world datasets confirm that our bounds closely track the actual spectral error under diverse perturbation regimes.
评论: 神经信息处理系统大会 2025
主题: 机器学习 (cs.LG) ; 密码学与安全 (cs.CR); 数据结构与算法 (cs.DS); 数值分析 (math.NA); 谱理论 (math.SP)
引用方式: arXiv:2510.25670 [cs.LG]
  (或者 arXiv:2510.25670v1 [cs.LG] 对于此版本)
  https://doi.org/10.48550/arXiv.2510.25670
通过 DataCite 发表的 arXiv DOI(待注册)

提交历史

来自: Nisheeth Vishnoi [查看电子邮件]
[v1] 星期三, 2025 年 10 月 29 日 16:36:00 UTC (313 KB)
全文链接:

获取论文:

    查看标题为《》的 PDF
  • 查看中文 PDF
  • 查看 PDF
  • HTML(实验性)
  • TeX 源代码
许可图标 查看许可
当前浏览上下文:
cs.LG
< 上一篇   |   下一篇 >
新的 | 最近的 | 2025-10
切换浏览方式为:
cs
cs.CR
cs.DS
cs.NA
math
math.NA
math.SP

参考文献与引用

  • NASA ADS
  • 谷歌学术搜索
  • 语义学者
a 导出 BibTeX 引用 加载中...

BibTeX 格式的引用

×
数据由提供:

收藏

BibSonomy logo Reddit logo

文献和引用工具

文献资源探索 (什么是资源探索?)
连接的论文 (什么是连接的论文?)
Litmaps (什么是 Litmaps?)
scite 智能引用 (什么是智能引用?)

与本文相关的代码,数据和媒体

alphaXiv (什么是 alphaXiv?)
CatalyzeX 代码查找器 (什么是 CatalyzeX?)
DagsHub (什么是 DagsHub?)
Gotit.pub (什么是 GotitPub?)
Hugging Face (什么是 Huggingface?)
带有代码的论文 (什么是带有代码的论文?)
ScienceCast (什么是 ScienceCast?)

演示

复制 (什么是复制?)
Hugging Face Spaces (什么是 Spaces?)
TXYZ.AI (什么是 TXYZ.AI?)

推荐器和搜索工具

影响之花 (什么是影响之花?)
核心推荐器 (什么是核心?)
IArxiv 推荐器 (什么是 IArxiv?)
  • 作者
  • 地点
  • 机构
  • 主题

arXivLabs:与社区合作伙伴的实验项目

arXivLabs 是一个框架,允许合作伙伴直接在我们的网站上开发和分享新的 arXiv 特性。

与 arXivLabs 合作的个人和组织都接受了我们的价值观,即开放、社区、卓越和用户数据隐私。arXiv 承诺这些价值观,并且只与遵守这些价值观的合作伙伴合作。

有一个为 arXiv 社区增加价值的项目想法吗? 了解更多关于 arXivLabs 的信息.

这篇论文的哪些作者是支持者? | 禁用 MathJax (什么是 MathJax?)
  • 关于
  • 帮助
  • contact arXivClick here to contact arXiv 联系
  • 订阅 arXiv 邮件列表点击这里订阅 订阅
  • 版权
  • 隐私政策
  • 网络无障碍帮助
  • arXiv 运营状态
    通过...获取状态通知 email 或者 slack

京ICP备2025123034号