计算机科学 > 图形学
[提交于 2025年8月31日
]
标题: 内在现实:将内在任何东西从合成对象适应到真实对象
标题: IntrinsicReal: Adapting IntrinsicAnything from Synthetic to Real Objects
摘要: 从在真实环境中捕获的单个RGB图像(例如MVImgNet数据集)中估计反照率(也称为内在图像分解)由于缺乏配对图像及其真实反照率而面临重大挑战。 因此,尽管最近的方法(例如IntrinsicAnything)通过利用强大的扩散先验取得了突破,但它们主要在大规模合成数据集(例如Objaverse)上进行训练,并直接应用于真实世界的RGB图像,这忽略了合成数据和真实数据之间的巨大领域差距,导致泛化性能不佳。 在本工作中,我们通过提出IntrinsicReal,一种新颖的领域自适应框架来解决这一差距,该框架为真实世界的内在图像分解弥合了上述领域差距。 具体来说,我们的IntrinsicReal通过使用一种新的双伪标签策略选择的高质量输出反照率对IntrinsicAnything进行微调,从而适应真实领域:i)基于分类器预测的绝对置信度阈值进行伪标签标注,以及ii)使用分类器预测对于单个输入对象的相对偏好排名进行伪标签标注。 这种策略受到人类评估的启发,其中识别最高质量的输出是简单的,但对于次优情况,绝对分数变得不太可靠。 在这些情况下,输出的相对比较会更加准确。 为了实现这一点,我们提出了一种新的两阶段流程,依次应用这些伪标签技术,以有效地将IntrinsicAnything适应到真实领域。 实验结果表明,我们的IntrinsicReal显著优于现有方法,在合成和真实世界数据集上的反照率估计方面达到了最先进的结果。
文献和引用工具
与本文相关的代码,数据和媒体
alphaXiv (什么是 alphaXiv?)
CatalyzeX 代码查找器 (什么是 CatalyzeX?)
DagsHub (什么是 DagsHub?)
Gotit.pub (什么是 GotitPub?)
Hugging Face (什么是 Huggingface?)
带有代码的论文 (什么是带有代码的论文?)
ScienceCast (什么是 ScienceCast?)
演示
推荐器和搜索工具
arXivLabs:与社区合作伙伴的实验项目
arXivLabs 是一个框架,允许合作伙伴直接在我们的网站上开发和分享新的 arXiv 特性。
与 arXivLabs 合作的个人和组织都接受了我们的价值观,即开放、社区、卓越和用户数据隐私。arXiv 承诺这些价值观,并且只与遵守这些价值观的合作伙伴合作。
有一个为 arXiv 社区增加价值的项目想法吗? 了解更多关于 arXivLabs 的信息.