标题： 世界模型：具身开放词汇物体定位的世界模型 显示英文标题

标题： WoMAP: World Models For Embodied Open-Vocabulary Object Localization

摘要： 语言引导的主动目标定位是机器人面临的一项关键挑战，需要高效地探索部分可观察的环境。 然而，最先进的方法要么难以超越演示数据集进行泛化（例如，模仿学习方法），要么无法生成物理上可行的动作（例如，视觉语言模型）。 为了解决这些局限性，我们提出了 WoMAP（世界模型用于主动感知）：一种训练开放词汇量对象定位策略的方法，该方法：(i) 使用基于高斯散射的真实-仿真-真实管道进行可扩展的数据生成，而无需专家演示，(ii) 从开放词汇量的对象检测器中提取密集奖励信号，以及 (iii) 利用潜在世界模型进行动力学和奖励预测，以在推理时为高层次的动作建议提供依据。 严格的仿真和硬件实验表明，WoMAP 在广泛的零样本对象定位任务中表现出色，其成功率分别比视觉语言模型和扩散策略基准高出 9 倍和 2 倍以上。 此外，我们展示了 WoMAP 在 TidyBot 上实现了强大的泛化能力和仿真到现实的迁移能力。 显示英文摘要

摘要： Language-instructed active object localization is a critical challenge for robots, requiring efficient exploration of partially observable environments. However, state-of-the-art approaches either struggle to generalize beyond demonstration datasets (e.g., imitation learning methods) or fail to generate physically grounded actions (e.g., VLMs). To address these limitations, we introduce WoMAP (World Models for Active Perception): a recipe for training open-vocabulary object localization policies that: (i) uses a Gaussian Splatting-based real-to-sim-to-real pipeline for scalable data generation without the need for expert demonstrations, (ii) distills dense rewards signals from open-vocabulary object detectors, and (iii) leverages a latent world model for dynamics and rewards prediction to ground high-level action proposals at inference time. Rigorous simulation and hardware experiments demonstrate WoMAP's superior performance in a broad range of zero-shot object localization tasks, with more than 9x and 2x higher success rates compared to VLM and diffusion policy baselines, respectively. Further, we show that WoMAP achieves strong generalization and sim-to-real transfer on a TidyBot.