计算机科学 > 计算机视觉与模式识别
[提交于 2025年8月8日
]
标题: Restage4D:从单个视频重新激活可变形3D重建
标题: Restage4D: Reanimating Deformable 3D Reconstruction from a Single Video
摘要: 创建可变形的3D内容随着文本到图像和图像到视频生成模型的兴起而受到越来越多的关注。 尽管这些模型为外观提供了丰富的语义先验,但它们难以捕捉真实4D场景合成所需的物理真实感和运动动力学。 相反,现实世界的视频可以提供难以幻觉的物理基础几何和关节线索。 提出一个问题: \textit{我们能否通过利用真实世界视频的运动先验来生成物理上一致的4D内容?}? 在本工作中,我们探索从单个视频重新激活可变形的3D场景的任务,使用原始序列作为监督信号来纠正合成运动产生的伪影。 我们引入了\textbf{Restage4D},一种用于视频条件4D重新布置的几何保持流程。 我们的方法使用视频回溯训练策略,通过共享的运动表示在真实基础视频和合成驱动视频之间建立时间桥梁。 我们进一步结合了一个遮挡感知的刚度损失和一个去遮挡回溯机制,以在具有挑战性的运动下提高结构和几何一致性。 我们在 DAVIS 和 PointOdyssey 上验证了 Restage4D ,展示了改进的几何一致性、运动质量和3D跟踪性能。 我们的方法不仅在新运动下保留了可变形结构,还能自动纠正生成模型引入的错误,揭示了视频先验在4D重新布置任务中的潜力。 源代码和训练好的模型将被发布。
文献和引用工具
与本文相关的代码,数据和媒体
alphaXiv (什么是 alphaXiv?)
CatalyzeX 代码查找器 (什么是 CatalyzeX?)
DagsHub (什么是 DagsHub?)
Gotit.pub (什么是 GotitPub?)
Hugging Face (什么是 Huggingface?)
带有代码的论文 (什么是带有代码的论文?)
ScienceCast (什么是 ScienceCast?)
演示
推荐器和搜索工具
arXivLabs:与社区合作伙伴的实验项目
arXivLabs 是一个框架,允许合作伙伴直接在我们的网站上开发和分享新的 arXiv 特性。
与 arXivLabs 合作的个人和组织都接受了我们的价值观,即开放、社区、卓越和用户数据隐私。arXiv 承诺这些价值观,并且只与遵守这些价值观的合作伙伴合作。
有一个为 arXiv 社区增加价值的项目想法吗? 了解更多关于 arXivLabs 的信息.