计算机科学 > 机器人技术
[提交于 2025年1月8日
]
标题: 基于分解VQ-VAE的人类抓取生成方法用于刚性和柔性物体
标题: Human Grasp Generation for Rigid and Deformable Objects with Decomposed VQ-VAE
摘要: 生成逼真的手指抓取对于计算机图形学和机器人技术中的物体操作至关重要,但仍然具有挑战性。 当前的方法通常难以生成具有完整手指-物体交互的详细且逼真的抓取,因为它们通常依赖于对整个手进行编码,并在单一步骤中估计姿态和位置。 此外,在生成抓取时模拟物体变形仍然困难,因为建模这种变形需要捕捉物体表面点之间的全面关系。 为了解决这些限制,我们提出了一种改进的新型分解向量量化变分自编码器(DVQ-VAE-2),它将手分解为不同的部分并分别进行编码。 这种部分感知的架构使得对手指-物体交互的管理更加精确。 此外,我们引入了一种双阶段解码策略,首先在骨骼约束下预测抓取类型,然后确定最佳抓取位置,从而提高了模型的逼真度和对未见过的交互的适应能力。 此外,我们引入了一种新的Mesh UFormer作为主干网络,从网格中提取层次结构表示,并提出了一种新的法向量引导的位置编码来模拟手指-物体变形。 在实验中,与最先进的方法相比,我们的模型在四个广泛使用的基准测试中,抓取质量相对提升了约14.1%。 与其他主干网络的比较显示,在可变形和刚性物体数据集上,手-物体接触距离的相对提升分别为2.23%,质量指数的相对提升分别为5.86%。 我们的源代码和模型可在 https://github.com/florasion/D-VQVAE 获取。
文献和引用工具
与本文相关的代码,数据和媒体
alphaXiv (什么是 alphaXiv?)
CatalyzeX 代码查找器 (什么是 CatalyzeX?)
DagsHub (什么是 DagsHub?)
Gotit.pub (什么是 GotitPub?)
Hugging Face (什么是 Huggingface?)
带有代码的论文 (什么是带有代码的论文?)
ScienceCast (什么是 ScienceCast?)
演示
推荐器和搜索工具
arXivLabs:与社区合作伙伴的实验项目
arXivLabs 是一个框架,允许合作伙伴直接在我们的网站上开发和分享新的 arXiv 特性。
与 arXivLabs 合作的个人和组织都接受了我们的价值观,即开放、社区、卓越和用户数据隐私。arXiv 承诺这些价值观,并且只与遵守这些价值观的合作伙伴合作。
有一个为 arXiv 社区增加价值的项目想法吗? 了解更多关于 arXivLabs 的信息.