计算机科学 > 图形学
[提交于 2025年9月2日
]
标题: GRMM:具有学习残差的实时高保真高斯可变形头部模型
标题: GRMM: Real-Time High-Fidelity Gaussian Morphable Head Model with Learned Residuals
摘要: 3D可变形模型(3DMMs)使重建、动画和AR/VR中的可控面部几何和表情编辑成为可能,但传统的基于PCA的网格模型在分辨率、细节和逼真度方面存在限制。神经体积方法提高了逼真度,但对于交互使用仍然太慢。最近基于高斯点云(3DGS)的面部模型实现了快速、高质量的渲染,但仍然仅依赖于基于网格的3DMM先验进行表情控制,限制了它们捕捉细粒度几何、表情和全头覆盖的能力。我们引入了GRMM,这是第一个全头高斯3D可变形模型,它通过残差几何和外观组件增强了基础3DMM,这些附加改进可以恢复高频细节,如皱纹、精细皮肤纹理和发际线变化。GRMM通过低维、可解释的参数(例如,身份形状、面部表情)提供解耦控制,同时分别建模残差,以捕捉超出基础模型能力的受试者和表情特定的细节。粗略解码器生成顶点级网格变形,精细解码器表示每个高斯的外观,而一个轻量级CNN对光栅化图像进行细化以提高逼真度,同时保持75 FPS的实时渲染。为了学习一致的高保真残差,我们提出了EXPRESS-50,这是第一个包含50个身份上60个对齐表情的数据集,使得在基于高斯的3DMM中能够稳健地解耦身份和表情。在单目3D人脸重建、新视角合成和表情迁移方面,GRMM在保真度和表情准确性方面超越了最先进的方法,同时提供了交互式的实时性能。
文献和引用工具
与本文相关的代码,数据和媒体
alphaXiv (什么是 alphaXiv?)
CatalyzeX 代码查找器 (什么是 CatalyzeX?)
DagsHub (什么是 DagsHub?)
Gotit.pub (什么是 GotitPub?)
Hugging Face (什么是 Huggingface?)
带有代码的论文 (什么是带有代码的论文?)
ScienceCast (什么是 ScienceCast?)
演示
推荐器和搜索工具
arXivLabs:与社区合作伙伴的实验项目
arXivLabs 是一个框架,允许合作伙伴直接在我们的网站上开发和分享新的 arXiv 特性。
与 arXivLabs 合作的个人和组织都接受了我们的价值观,即开放、社区、卓越和用户数据隐私。arXiv 承诺这些价值观,并且只与遵守这些价值观的合作伙伴合作。
有一个为 arXiv 社区增加价值的项目想法吗? 了解更多关于 arXivLabs 的信息.