计算机科学 > 图形学
[提交于 2025年4月2日
(v1)
,最后修订 2025年9月25日 (此版本, v4)]
标题: 生成360°视频是您对3D场景所需的内容
标题: Generating 360° Video is What You Need For a 3D Scene
摘要: 生成3D场景仍然是一个具有挑战性的任务,这是由于缺乏现成的场景数据。 大多数现有方法仅能生成部分场景,并提供有限的导航自由度。 我们引入了一种实用且可扩展的解决方案,使用360{\deg }视频作为中间场景表示,捕捉完整的场景上下文并确保生成过程中的视觉内容一致性。 我们提出了WorldPrompter,一个从文本提示合成可行走的3D场景的生成管道。 WorldPrompter结合了一个条件360{\deg }全景视频生成器,能够生成一个包含128帧的视频,模拟一个人穿过并捕捉虚拟环境的过程。 随后,该视频由一个快速的前馈3D重建器重建为高斯点云,从而在3D场景中实现真正的可行走体验。 实验表明,我们的全景视频生成模型,在图像和视频数据混合训练下,对于静态场景实现了令人信服的空间和时间一致性。 这一点通过平均COLMAP匹配率94.6%得到验证,使得高质量的全景高斯点云重建成为可能,并提升了整个场景的导航性能。 定性和定量结果也表明,它优于最先进的360{\deg }视频生成器和3D场景生成模型。
文献和引用工具
与本文相关的代码,数据和媒体
alphaXiv (什么是 alphaXiv?)
CatalyzeX 代码查找器 (什么是 CatalyzeX?)
DagsHub (什么是 DagsHub?)
Gotit.pub (什么是 GotitPub?)
Hugging Face (什么是 Huggingface?)
带有代码的论文 (什么是带有代码的论文?)
ScienceCast (什么是 ScienceCast?)
演示
推荐器和搜索工具
arXivLabs:与社区合作伙伴的实验项目
arXivLabs 是一个框架,允许合作伙伴直接在我们的网站上开发和分享新的 arXiv 特性。
与 arXivLabs 合作的个人和组织都接受了我们的价值观,即开放、社区、卓越和用户数据隐私。arXiv 承诺这些价值观,并且只与遵守这些价值观的合作伙伴合作。
有一个为 arXiv 社区增加价值的项目想法吗? 了解更多关于 arXivLabs 的信息.