计算机科学 > 机器人技术
[提交于 2025年11月6日
]
标题: X-Diffusion:在跨身体人类示范上训练扩散策略
标题: X-Diffusion: Training Diffusion Policies on Cross-Embodiment Human Demonstrations
摘要: 人类视频可以快速且大规模地记录,使其成为机器人学习有吸引力的训练数据来源。 然而,人类和机器人在本体上存在根本差异,导致动作执行不匹配。 因此,直接将人类手部运动的运动学重新映射可能会产生对机器人来说物理上不可行的动作。 尽管存在这些低层次的差异,人类演示仍然提供了关于如何操作和与物体交互的有价值运动线索。 我们的核心思想是利用前向扩散过程:当向动作中添加噪声时,低层次的执行差异会消失,而高层次的任务指导会被保留。 我们提出了X-Diffusion,这是一种训练扩散策略的原则性框架,在不学习动态上不可行的运动的情况下,最大限度地利用人类数据。 X-Diffusion首先训练一个分类器来预测一个带有噪声的动作是由人类还是机器人执行的。 然后,在添加了足够的噪声使得分类器无法辨别其本体之后,才将人类动作纳入策略训练中。 与机器人执行一致的动作在低噪声水平下监督精细的去噪,而不匹配的人类动作在高噪声水平下仅提供粗略指导。 我们的实验表明,在执行不匹配的情况下,简单的联合训练会降低策略性能,而X-Diffusion则持续提高性能。 在五个操作任务中,X-Diffusion的平均成功率比最佳基线高出16%。 项目网站可在 https://portal-cornell.github.io/X-Diffusion/ 上访问。
文献和引用工具
与本文相关的代码,数据和媒体
alphaXiv (什么是 alphaXiv?)
CatalyzeX 代码查找器 (什么是 CatalyzeX?)
DagsHub (什么是 DagsHub?)
Gotit.pub (什么是 GotitPub?)
Hugging Face (什么是 Huggingface?)
带有代码的论文 (什么是带有代码的论文?)
ScienceCast (什么是 ScienceCast?)
演示
推荐器和搜索工具
arXivLabs:与社区合作伙伴的实验项目
arXivLabs 是一个框架,允许合作伙伴直接在我们的网站上开发和分享新的 arXiv 特性。
与 arXivLabs 合作的个人和组织都接受了我们的价值观,即开放、社区、卓越和用户数据隐私。arXiv 承诺这些价值观,并且只与遵守这些价值观的合作伙伴合作。
有一个为 arXiv 社区增加价值的项目想法吗? 了解更多关于 arXivLabs 的信息.