计算机科学 > 机器人技术
[提交于 2025年6月26日
(v1)
,最后修订 2025年7月4日 (此版本, v2)]
标题: SEAL:基于视觉-语言模型的安全端到端协同自动驾驶自适应长尾建模
标题: SEAL: Vision-Language Model-Based Safe End-to-End Cooperative Autonomous Driving with Adaptive Long-Tail Modeling
摘要: 自动驾驶技术在面对罕见、多样且视觉退化的天气场景时面临重大的安全挑战。 这些挑战在协作环境中变得更加关键,其中车辆和基础设施共同感知并推理复杂环境。 为了解决这些问题,我们提出了SEAL,这是一个基于视觉-语言模型的框架,采用自适应多模态学习,在长尾场景下实现稳健的协作自动驾驶。 SEAL引入了三项核心创新:(i) 一种提示驱动的长尾场景生成和评估管道,利用基础模型合成车辆和基础设施视角下的真实长尾条件,如雪和雾,高效丰富训练多样性;(ii) 一种门控多场景自适应注意力模块,利用场景先验调节视觉流,重新校准模糊或损坏的特征;以及(iii) 一种多任务场景感知对比学习目标,提高了多模态对齐并促进了跨场景特征可分性。 大量实验表明, 在复杂、具有挑战性的驾驶条件下,SEAL在推理、安全性和规划准确性方面显著优于现有基线,推动了自动驾驶的安全性、鲁棒性和可扩展性。
文献和引用工具
与本文相关的代码,数据和媒体
alphaXiv (什么是 alphaXiv?)
CatalyzeX 代码查找器 (什么是 CatalyzeX?)
DagsHub (什么是 DagsHub?)
Gotit.pub (什么是 GotitPub?)
Hugging Face (什么是 Huggingface?)
带有代码的论文 (什么是带有代码的论文?)
ScienceCast (什么是 ScienceCast?)
演示
推荐器和搜索工具
arXivLabs:与社区合作伙伴的实验项目
arXivLabs 是一个框架,允许合作伙伴直接在我们的网站上开发和分享新的 arXiv 特性。
与 arXivLabs 合作的个人和组织都接受了我们的价值观,即开放、社区、卓越和用户数据隐私。arXiv 承诺这些价值观,并且只与遵守这些价值观的合作伙伴合作。
有一个为 arXiv 社区增加价值的项目想法吗? 了解更多关于 arXivLabs 的信息.