Skip to main content
CenXiv.org
此网站处于试运行阶段,支持我们!
我们衷心感谢所有贡献者的支持。
贡献
赞助
cenxiv logo > cs > arXiv:2507.01016

帮助 | 高级搜索

计算机科学 > 机器人技术

arXiv:2507.01016 (cs)
[提交于 2025年7月1日 ]

标题: VQ-VLA:通过扩展向量量化动作分词器改进视觉-语言-动作模型

标题: VQ-VLA: Improving Vision-Language-Action Models via Scaling Vector-Quantized Action Tokenizers

Authors:Yating Wang, Haoyi Zhu, Mingyu Liu, Jiange Yang, Hao-Shu Fang, Tong He
摘要: 在本文中,我们引入了一个基于创新向量量化的行为标记器,该标记器建立在迄今为止最大规模的动作轨迹数据集之上,利用的数据量是之前方法的100多倍。 这个庞大的数据集使我们的标记器能够捕捉丰富的时空动态,从而生成一个不仅加速推理而且产生更平滑、更连贯动作输出的模型。 训练完成后,该标记器可以以零样本方式无缝适应各种下游任务,从短时域的反应行为到长时域的规划。 我们工作的关键发现是合成与真实动作轨迹之间的领域差距很小,这使我们在训练过程中能够有效利用大量合成数据而不影响实际性能。 为了验证我们的方法,我们在模拟环境和真实的机器人平台上进行了广泛的实验。 结果表明,随着合成轨迹数据量的增加,我们的标记器在下游任务上的性能显著提高——最明显的是,在长时域场景中的两个现实任务中成功率达到30%的提升。 这些发现突显了我们的动作标记器作为实时具身智能系统的一种强大且可扩展解决方案的潜力,为在不同应用领域中更高效和可靠的机器人控制铺平了道路。 项目网站:https://xiaoxiao0406.github.io/vqvla.github.io
摘要: In this paper, we introduce an innovative vector quantization based action tokenizer built upon the largest-scale action trajectory dataset to date, leveraging over 100 times more data than previous approaches. This extensive dataset enables our tokenizer to capture rich spatiotemporal dynamics, resulting in a model that not only accelerates inference but also generates smoother and more coherent action outputs. Once trained, the tokenizer can be seamlessly adapted to a wide range of downstream tasks in a zero-shot manner, from short-horizon reactive behaviors to long-horizon planning. A key finding of our work is that the domain gap between synthetic and real action trajectories is marginal, allowing us to effectively utilize a vast amount of synthetic data during training without compromising real-world performance. To validate our approach, we conducted extensive experiments in both simulated environments and on real robotic platforms. The results demonstrate that as the volume of synthetic trajectory data increases, the performance of our tokenizer on downstream tasks improves significantly-most notably, achieving up to a 30% higher success rate on two real-world tasks in long-horizon scenarios. These findings highlight the potential of our action tokenizer as a robust and scalable solution for real-time embodied intelligence systems, paving the way for more efficient and reliable robotic control in diverse application domains.Project website: https://xiaoxiao0406.github.io/vqvla.github.io
评论: 被ICCV 2025接收
主题: 机器人技术 (cs.RO) ; 计算机视觉与模式识别 (cs.CV)
引用方式: arXiv:2507.01016 [cs.RO]
  (或者 arXiv:2507.01016v1 [cs.RO] 对于此版本)
  https://doi.org/10.48550/arXiv.2507.01016
通过 DataCite 发表的 arXiv DOI(待注册)

提交历史

来自: Yating Wang [查看电子邮件]
[v1] 星期二, 2025 年 7 月 1 日 17:59:44 UTC (2,140 KB)
全文链接:

获取论文:

    查看标题为《》的 PDF
  • 查看中文 PDF
  • 查看 PDF
  • HTML(实验性)
  • TeX 源代码
  • 其他格式
许可图标 查看许可
当前浏览上下文:
cs.RO
< 上一篇   |   下一篇 >
新的 | 最近的 | 2025-07
切换浏览方式为:
cs
cs.CV

参考文献与引用

  • NASA ADS
  • 谷歌学术搜索
  • 语义学者
a 导出 BibTeX 引用 加载中...

BibTeX 格式的引用

×
数据由提供:

收藏

BibSonomy logo Reddit logo

文献和引用工具

文献资源探索 (什么是资源探索?)
连接的论文 (什么是连接的论文?)
Litmaps (什么是 Litmaps?)
scite 智能引用 (什么是智能引用?)

与本文相关的代码,数据和媒体

alphaXiv (什么是 alphaXiv?)
CatalyzeX 代码查找器 (什么是 CatalyzeX?)
DagsHub (什么是 DagsHub?)
Gotit.pub (什么是 GotitPub?)
Hugging Face (什么是 Huggingface?)
带有代码的论文 (什么是带有代码的论文?)
ScienceCast (什么是 ScienceCast?)

演示

复制 (什么是复制?)
Hugging Face Spaces (什么是 Spaces?)
TXYZ.AI (什么是 TXYZ.AI?)

推荐器和搜索工具

影响之花 (什么是影响之花?)
核心推荐器 (什么是核心?)
IArxiv 推荐器 (什么是 IArxiv?)
  • 作者
  • 地点
  • 机构
  • 主题

arXivLabs:与社区合作伙伴的实验项目

arXivLabs 是一个框架,允许合作伙伴直接在我们的网站上开发和分享新的 arXiv 特性。

与 arXivLabs 合作的个人和组织都接受了我们的价值观,即开放、社区、卓越和用户数据隐私。arXiv 承诺这些价值观,并且只与遵守这些价值观的合作伙伴合作。

有一个为 arXiv 社区增加价值的项目想法吗? 了解更多关于 arXivLabs 的信息.

这篇论文的哪些作者是支持者? | 禁用 MathJax (什么是 MathJax?)
  • 关于
  • 帮助
  • contact arXivClick here to contact arXiv 联系
  • 订阅 arXiv 邮件列表点击这里订阅 订阅
  • 版权
  • 隐私政策
  • 网络无障碍帮助
  • arXiv 运营状态
    通过...获取状态通知 email 或者 slack

京ICP备2025123034号