电气工程与系统科学 > 信号处理
[提交于 2025年11月6日
]
标题: RCMCL:一种统一的对比学习框架,用于鲁棒的多模态(RGB-D、骨骼、点云)动作理解
标题: RCMCL: A Unified Contrastive Learning Framework for Robust Multi-Modal (RGB-D, Skeleton, Point Cloud) Action Understanding
摘要: 人体动作识别(HAR)使用多模态输入(RGB-D、骨骼、点云)可以实现高精度,但通常依赖于大型标注数据集,并且在传感器故障或噪声情况下性能会急剧下降。 我们提出了鲁棒的跨模态对比学习(RCMCL),这是一种自监督框架,能够学习模态不变表示,并在模态丢失和损坏的情况下保持可靠性。 RCMCL联合优化(i)一个跨模态对比目标,对齐异构流,(ii)一个模态内自我蒸馏目标,提高视图不变性并减少冗余,以及(iii)一个退化模拟目标,明确训练模型从被遮挡或损坏的输入中恢复。 在推理时,自适应模态门控(AMG)网络为每个模态分配数据驱动的可靠性权重以进行鲁棒融合。 在NTU RGB+D 120(CS/CV)和UWA3D-II上,RCMCL在标准设置中达到了最先进的准确率,并表现出显著更好的鲁棒性:在严重的双模态丢失情况下,仅表现出11.5%的下降,明显优于强大的监督融合基线。 这些结果表明,自监督的跨模态对齐,结合显式的退化建模和自适应融合,是可部署的多模态HAR的关键。
文献和引用工具
与本文相关的代码,数据和媒体
alphaXiv (什么是 alphaXiv?)
CatalyzeX 代码查找器 (什么是 CatalyzeX?)
DagsHub (什么是 DagsHub?)
Gotit.pub (什么是 GotitPub?)
Hugging Face (什么是 Huggingface?)
带有代码的论文 (什么是带有代码的论文?)
ScienceCast (什么是 ScienceCast?)
演示
推荐器和搜索工具
arXivLabs:与社区合作伙伴的实验项目
arXivLabs 是一个框架,允许合作伙伴直接在我们的网站上开发和分享新的 arXiv 特性。
与 arXivLabs 合作的个人和组织都接受了我们的价值观,即开放、社区、卓越和用户数据隐私。arXiv 承诺这些价值观,并且只与遵守这些价值观的合作伙伴合作。
有一个为 arXiv 社区增加价值的项目想法吗? 了解更多关于 arXivLabs 的信息.