计算机科学 > 机器人技术
[提交于 2025年7月1日
]
标题: 人形生成:通过大语言模型推理进行双臂灵巧操作的数据生成
标题: HumanoidGen: Data Generation for Bimanual Dexterous Manipulation via LLM Reasoning
摘要: 对于机器人操作,现有的机器人数据集和仿真基准主要针对机械臂平台。 然而,对于配备双臂和灵巧手的人形机器人,仿真任务和高质量演示明显不足。 双手灵巧操作本质上更加复杂,因为它需要协调的臂部运动和手部操作,使得自主数据收集具有挑战性。 本文提出了HumanoidGen,一个自动任务创建和演示收集框架,该框架利用原子灵巧操作和大语言模型推理来生成关系约束。 具体来说,我们基于原子操作为资产和灵巧手提供空间注释,并使用大语言模型规划器根据物体功能和场景生成一系列可操作的空间约束链。 为进一步提高规划能力,我们采用蒙特卡洛树搜索的一种变体来增强大语言模型在长时域任务和注释不足情况下的推理能力。 在实验中,我们创建了一个带有增强场景的新基准来评估收集数据的质量。 结果表明,2D和3D扩散策略的性能可以随着生成的数据集进行扩展。 项目页面是https://openhumanoidgen.github.io.
文献和引用工具
与本文相关的代码,数据和媒体
alphaXiv (什么是 alphaXiv?)
CatalyzeX 代码查找器 (什么是 CatalyzeX?)
DagsHub (什么是 DagsHub?)
Gotit.pub (什么是 GotitPub?)
Hugging Face (什么是 Huggingface?)
带有代码的论文 (什么是带有代码的论文?)
ScienceCast (什么是 ScienceCast?)
演示
推荐器和搜索工具
arXivLabs:与社区合作伙伴的实验项目
arXivLabs 是一个框架,允许合作伙伴直接在我们的网站上开发和分享新的 arXiv 特性。
与 arXivLabs 合作的个人和组织都接受了我们的价值观,即开放、社区、卓越和用户数据隐私。arXiv 承诺这些价值观,并且只与遵守这些价值观的合作伙伴合作。
有一个为 arXiv 社区增加价值的项目想法吗? 了解更多关于 arXivLabs 的信息.