标题： CLIP-RT：从自然语言监督中学习语言条件的机器人策略 显示英文标题

标题： CLIP-RT: Learning Language-Conditioned Robotic Policies from Natural Language Supervision

摘要： 在真实环境中教授机器人所需技能仍然具有挑战性，尤其是对于非专家而言。 一个关键瓶颈在于，收集机器人数据通常需要专业知识或专用硬件，这限制了可访问性和可扩展性。 我们认为，自然语言提供了一个直观且易用的机器人学习接口。 为此，我们研究了两个方面：(1) 让非专家通过自然语言监督（例如，“将手臂移向右边”）收集机器人数据；(2) 直接从这种监督训练机器人策略。 具体来说，我们引入了一个基于自然语言监督收集机器人演示的数据收集框架，并进一步扩充这些演示。 然后我们提出 CLIP-RT，这是一种新的视觉-语言-动作（VLA）模型，它从这种监督中学到语言条件下的视触觉策略。 CLIP-RT 调整了预训练的 CLIP 模型，并通过对比模仿学习学会预测基于语言的运动基元。 我们在 Open X-Embodiment 数据集上训练 CLIP-RT，并使用我们的框架收集的领域内数据对其进行微调。 在现实世界评估中，CLIP-RT 展现了强大的学习新操作技能的能力，在平均成功率方面比 OpenVLA（7B 参数）高出 24%，同时使用的参数量仅为 OpenVLA 的 1/7（1B 参数）。 我们进一步评估了 CLIP-RT 在少量样本泛化和涉及大预训练模型或人类的合作场景中的能力。 在模拟环境中，CLIP-RT 也表现出色，在 LIBERO 基准测试中达到 93.1% 的平均成功率，推理吞吐量为 163 Hz。 显示英文摘要

摘要： Teaching robots desired skills in real-world environments remains challenging, especially for non-experts. A key bottleneck is that collecting robotic data often requires expertise or specialized hardware, limiting accessibility and scalability. We posit that natural language offers an intuitive and accessible interface for robot learning. To this end, we study two aspects: (1) enabling non-experts to collect robotic data through natural language supervision (e.g., "move the arm to the right") and (2) training robot policies directly from this supervision. Specifically, we introduce a data collection framework that collects robot demonstrations based on natural language supervision and further augments these demonstrations. We then present CLIP-RT, a new vision-language-action (VLA) model that learns language-conditioned visuomotor policies from this supervision. CLIP-RT adapts the pretrained CLIP model and learns to predict language-based motion primitives via contrastive imitation learning. We train CLIP-RT on the Open X-Embodiment dataset and finetune it on in-domain data collected by our framework. In real-world evaluations, CLIP-RT demonstrates strong capabilities in learning novel manipulation skills, outperforming OpenVLA (7B parameters) by 24% in average success rates, while using 7x fewer parameters (1B). We further assess CLIP-RT's capabilities in few-shot generalization and collaborative scenarios involving large pretrained models or humans. In simulated environments, CLIP-RT also yields strong performance, achieving a 93.1% average success rate on the LIBERO benchmark with an inference throughput of 163 Hz.