标题： EgoVLA：从第一人称人类视频中学习视觉-语言-动作模型 显示英文标题

标题： EgoVLA: Learning Vision-Language-Action Models from Egocentric Human Videos

摘要： 真实机器人数据收集在模仿学习中已经带来了机器人操作的重大进展。 然而，在这个过程中对机器人硬件的要求从根本上限制了数据的规模。 在本文中，我们探索使用第一视角的人类视频来训练视觉-语言-动作（VLA）模型。 使用人类视频的好处不仅在于其规模，更重要的是场景和任务的丰富性。 通过一个在人类视频上训练的VLA模型，该模型可以预测人类手腕和手部动作，我们可以执行逆运动学和动作迁移，将人类动作转换为机器人动作。 我们使用少量的机器人操作示范微调模型以获得机器人策略，即EgoVLA。 我们提出一个名为Ego Humanoid Manipulation Benchmark的仿真基准，其中我们设计了多样化的双手操作任务并提供了示范。 我们使用Ego Humanoid Manipulation Benchmark对EgoVLA进行微调和评估，并展示了相对于基线的显著改进，同时分析了人类数据的重要性。 视频可以在我们的网站上找到：https://rchalyang.github.io/EgoVLA 显示英文摘要

摘要： Real robot data collection for imitation learning has led to significant advancements in robotic manipulation. However, the requirement for robot hardware in the process fundamentally constrains the scale of the data. In this paper, we explore training Vision-Language-Action (VLA) models using egocentric human videos. The benefit of using human videos is not only for their scale but more importantly for the richness of scenes and tasks. With a VLA trained on human video that predicts human wrist and hand actions, we can perform Inverse Kinematics and retargeting to convert the human actions to robot actions. We fine-tune the model using a few robot manipulation demonstrations to obtain the robot policy, namely EgoVLA. We propose a simulation benchmark called Ego Humanoid Manipulation Benchmark, where we design diverse bimanual manipulation tasks with demonstrations. We fine-tune and evaluate EgoVLA with Ego Humanoid Manipulation Benchmark and show significant improvements over baselines and ablate the importance of human data. Videos can be found on our website: https://rchalyang.github.io/EgoVLA