Skip to main content
CenXiv.org
此网站处于试运行阶段,支持我们!
我们衷心感谢所有贡献者的支持。
贡献
赞助
cenxiv logo > cs > arXiv:2504.05300

帮助 | 高级搜索

计算机科学 > 机器学习

arXiv:2504.05300 (cs)
[提交于 2025年4月7日 ]

标题: 无维度收敛的扩散模型用于近似高斯混合物

标题: Dimension-Free Convergence of Diffusion Models for Approximate Gaussian Mixtures

Authors:Gen Li, Changxiao Cai, Yuting Wei
摘要: 扩散模型因其卓越的生成性能而脱颖而出,特别是在通过迭代去噪来生成高质量样本方面表现尤为突出。虽然当前理论表明,为了准确生成样本所需的去噪步数应该随数据维度线性增长,但这并不能反映广泛使用的算法(如去噪扩散概率模型 DDPM)的实际效率。 本文研究了扩散模型在从可以通过高斯混合模型(GMM)良好近似的复杂高维分布中采样的有效性。 对于这些分布,我们的主要结果表明,DDPM 最多需要$\widetilde{O}(1/\varepsilon)$次迭代即可达到总变差(TV)距离下的$\varepsilon$-精确分布,且这一结果独立于环境维度$d$和分量数量$K$,至多以对数因子依赖。 此外,这一结果对评分估计误差具有鲁棒性。 这些发现强调了扩散模型在高维设置下的显著有效性,考虑到 GMM 的通用逼近能力,同时为它们在实际中的成功提供了理论见解。
摘要: Diffusion models are distinguished by their exceptional generative performance, particularly in producing high-quality samples through iterative denoising. While current theory suggests that the number of denoising steps required for accurate sample generation should scale linearly with data dimension, this does not reflect the practical efficiency of widely used algorithms like Denoising Diffusion Probabilistic Models (DDPMs). This paper investigates the effectiveness of diffusion models in sampling from complex high-dimensional distributions that can be well-approximated by Gaussian Mixture Models (GMMs). For these distributions, our main result shows that DDPM takes at most $\widetilde{O}(1/\varepsilon)$ iterations to attain an $\varepsilon$-accurate distribution in total variation (TV) distance, independent of both the ambient dimension $d$ and the number of components $K$, up to logarithmic factors. Furthermore, this result remains robust to score estimation errors. These findings highlight the remarkable effectiveness of diffusion models in high-dimensional settings given the universal approximation capability of GMMs, and provide theoretical insights into their practical success.
主题: 机器学习 (cs.LG) ; 数值分析 (math.NA); 统计理论 (math.ST); 机器学习 (stat.ML)
引用方式: arXiv:2504.05300 [cs.LG]
  (或者 arXiv:2504.05300v1 [cs.LG] 对于此版本)
  https://doi.org/10.48550/arXiv.2504.05300
通过 DataCite 发表的 arXiv DOI

提交历史

来自: Changxiao Cai [查看电子邮件]
[v1] 星期一, 2025 年 4 月 7 日 17:59:07 UTC (43 KB)
全文链接:

获取论文:

    查看标题为《》的 PDF
  • 查看中文 PDF
  • 查看 PDF
  • HTML(实验性)
  • TeX 源代码
  • 其他格式
许可图标 查看许可
当前浏览上下文:
cs.NA
< 上一篇   |   下一篇 >
新的 | 最近的 | 2025-04
切换浏览方式为:
cs
cs.LG
math
math.NA
math.ST
stat
stat.ML
stat.TH

参考文献与引用

  • NASA ADS
  • 谷歌学术搜索
  • 语义学者
a 导出 BibTeX 引用 加载中...

BibTeX 格式的引用

×
数据由提供:

收藏

BibSonomy logo Reddit logo

文献和引用工具

文献资源探索 (什么是资源探索?)
连接的论文 (什么是连接的论文?)
Litmaps (什么是 Litmaps?)
scite 智能引用 (什么是智能引用?)

与本文相关的代码,数据和媒体

alphaXiv (什么是 alphaXiv?)
CatalyzeX 代码查找器 (什么是 CatalyzeX?)
DagsHub (什么是 DagsHub?)
Gotit.pub (什么是 GotitPub?)
Hugging Face (什么是 Huggingface?)
带有代码的论文 (什么是带有代码的论文?)
ScienceCast (什么是 ScienceCast?)

演示

复制 (什么是复制?)
Hugging Face Spaces (什么是 Spaces?)
TXYZ.AI (什么是 TXYZ.AI?)

推荐器和搜索工具

影响之花 (什么是影响之花?)
核心推荐器 (什么是核心?)
IArxiv 推荐器 (什么是 IArxiv?)
  • 作者
  • 地点
  • 机构
  • 主题

arXivLabs:与社区合作伙伴的实验项目

arXivLabs 是一个框架,允许合作伙伴直接在我们的网站上开发和分享新的 arXiv 特性。

与 arXivLabs 合作的个人和组织都接受了我们的价值观,即开放、社区、卓越和用户数据隐私。arXiv 承诺这些价值观,并且只与遵守这些价值观的合作伙伴合作。

有一个为 arXiv 社区增加价值的项目想法吗? 了解更多关于 arXivLabs 的信息.

这篇论文的哪些作者是支持者? | 禁用 MathJax (什么是 MathJax?)
  • 关于
  • 帮助
  • contact arXivClick here to contact arXiv 联系
  • 订阅 arXiv 邮件列表点击这里订阅 订阅
  • 版权
  • 隐私政策
  • 网络无障碍帮助
  • arXiv 运营状态
    通过...获取状态通知 email 或者 slack

京ICP备2025123034号