Skip to main content
CenXiv.org
此网站处于试运行阶段,支持我们!
我们衷心感谢所有贡献者的支持。
贡献
赞助
cenxiv logo > cs > arXiv:2509.02141v1

帮助 | 高级搜索

计算机科学 > 图形学

arXiv:2509.02141v1 (cs)
[提交于 2025年9月2日 ]

标题: GRMM:具有学习残差的实时高保真高斯可变形头部模型

标题: GRMM: Real-Time High-Fidelity Gaussian Morphable Head Model with Learned Residuals

Authors:Mohit Mendiratta, Mayur Deshmukh, Kartik Teotia, Vladislav Golyanik, Adam Kortylewski, Christian Theobalt
摘要: 3D可变形模型(3DMMs)使重建、动画和AR/VR中的可控面部几何和表情编辑成为可能,但传统的基于PCA的网格模型在分辨率、细节和逼真度方面存在限制。神经体积方法提高了逼真度,但对于交互使用仍然太慢。最近基于高斯点云(3DGS)的面部模型实现了快速、高质量的渲染,但仍然仅依赖于基于网格的3DMM先验进行表情控制,限制了它们捕捉细粒度几何、表情和全头覆盖的能力。我们引入了GRMM,这是第一个全头高斯3D可变形模型,它通过残差几何和外观组件增强了基础3DMM,这些附加改进可以恢复高频细节,如皱纹、精细皮肤纹理和发际线变化。GRMM通过低维、可解释的参数(例如,身份形状、面部表情)提供解耦控制,同时分别建模残差,以捕捉超出基础模型能力的受试者和表情特定的细节。粗略解码器生成顶点级网格变形,精细解码器表示每个高斯的外观,而一个轻量级CNN对光栅化图像进行细化以提高逼真度,同时保持75 FPS的实时渲染。为了学习一致的高保真残差,我们提出了EXPRESS-50,这是第一个包含50个身份上60个对齐表情的数据集,使得在基于高斯的3DMM中能够稳健地解耦身份和表情。在单目3D人脸重建、新视角合成和表情迁移方面,GRMM在保真度和表情准确性方面超越了最先进的方法,同时提供了交互式的实时性能。
摘要: 3D Morphable Models (3DMMs) enable controllable facial geometry and expression editing for reconstruction, animation, and AR/VR, but traditional PCA-based mesh models are limited in resolution, detail, and photorealism. Neural volumetric methods improve realism but remain too slow for interactive use. Recent Gaussian Splatting (3DGS) based facial models achieve fast, high-quality rendering but still depend solely on a mesh-based 3DMM prior for expression control, limiting their ability to capture fine-grained geometry, expressions, and full-head coverage. We introduce GRMM, the first full-head Gaussian 3D morphable model that augments a base 3DMM with residual geometry and appearance components, additive refinements that recover high-frequency details such as wrinkles, fine skin texture, and hairline variations. GRMM provides disentangled control through low-dimensional, interpretable parameters (e.g., identity shape, facial expressions) while separately modelling residuals that capture subject- and expression-specific detail beyond the base model's capacity. Coarse decoders produce vertex-level mesh deformations, fine decoders represent per-Gaussian appearance, and a lightweight CNN refines rasterised images for enhanced realism, all while maintaining 75 FPS real-time rendering. To learn consistent, high-fidelity residuals, we present EXPRESS-50, the first dataset with 60 aligned expressions across 50 identities, enabling robust disentanglement of identity and expression in Gaussian-based 3DMMs. Across monocular 3D face reconstruction, novel-view synthesis, and expression transfer, GRMM surpasses state-of-the-art methods in fidelity and expression accuracy while delivering interactive real-time performance.
评论: 项目页面:https://mohitm1994.github.io/GRMM/
主题: 图形学 (cs.GR) ; 计算机视觉与模式识别 (cs.CV)
引用方式: arXiv:2509.02141 [cs.GR]
  (或者 arXiv:2509.02141v1 [cs.GR] 对于此版本)
  https://doi.org/10.48550/arXiv.2509.02141
通过 DataCite 发表的 arXiv DOI

提交历史

来自: Mohit Mendiratta [查看电子邮件]
[v1] 星期二, 2025 年 9 月 2 日 09:43:47 UTC (27,768 KB)
全文链接:

获取论文:

    查看标题为《》的 PDF
  • 查看中文 PDF
  • 查看 PDF
  • HTML(实验性)
  • TeX 源代码
  • 其他格式
许可图标 查看许可
当前浏览上下文:
cs.GR
< 上一篇   |   下一篇 >
新的 | 最近的 | 2025-09
切换浏览方式为:
cs
cs.CV

参考文献与引用

  • NASA ADS
  • 谷歌学术搜索
  • 语义学者
a 导出 BibTeX 引用 加载中...

BibTeX 格式的引用

×
数据由提供:

收藏

BibSonomy logo Reddit logo

文献和引用工具

文献资源探索 (什么是资源探索?)
连接的论文 (什么是连接的论文?)
Litmaps (什么是 Litmaps?)
scite 智能引用 (什么是智能引用?)

与本文相关的代码,数据和媒体

alphaXiv (什么是 alphaXiv?)
CatalyzeX 代码查找器 (什么是 CatalyzeX?)
DagsHub (什么是 DagsHub?)
Gotit.pub (什么是 GotitPub?)
Hugging Face (什么是 Huggingface?)
带有代码的论文 (什么是带有代码的论文?)
ScienceCast (什么是 ScienceCast?)

演示

复制 (什么是复制?)
Hugging Face Spaces (什么是 Spaces?)
TXYZ.AI (什么是 TXYZ.AI?)

推荐器和搜索工具

影响之花 (什么是影响之花?)
核心推荐器 (什么是核心?)
IArxiv 推荐器 (什么是 IArxiv?)
  • 作者
  • 地点
  • 机构
  • 主题

arXivLabs:与社区合作伙伴的实验项目

arXivLabs 是一个框架,允许合作伙伴直接在我们的网站上开发和分享新的 arXiv 特性。

与 arXivLabs 合作的个人和组织都接受了我们的价值观,即开放、社区、卓越和用户数据隐私。arXiv 承诺这些价值观,并且只与遵守这些价值观的合作伙伴合作。

有一个为 arXiv 社区增加价值的项目想法吗? 了解更多关于 arXivLabs 的信息.

这篇论文的哪些作者是支持者? | 禁用 MathJax (什么是 MathJax?)
  • 关于
  • 帮助
  • contact arXivClick here to contact arXiv 联系
  • 订阅 arXiv 邮件列表点击这里订阅 订阅
  • 版权
  • 隐私政策
  • 网络无障碍帮助
  • arXiv 运营状态
    通过...获取状态通知 email 或者 slack

京ICP备2025123034号