计算机科学 > 计算机视觉与模式识别
[提交于 2025年6月1日
]
标题: 时间:用于鲁棒表格图像学习的TabPFN集成多模态引擎
标题: TIME: TabPFN-Integrated Multimodal Engine for Robust Tabular-Image Learning
摘要: 表格-图像多模态学习,即将结构化表格数据与图像数据相结合,对于各种任务尤其是医学应用具有巨大潜力。 然而,仍存在两个关键挑战:(1)缺乏像视觉和语言领域常见的标准化预训练表格表示;(2)处理表格模态中缺失值的困难,这些缺失值在现实世界的医学数据集中很常见。 为了解决这些问题,我们提出了时间集成多模态引擎(TIME),这是一种基于最近引入的表格基础模型TabPFN的新多模态框架。 TIME利用TabPFN作为冻结的表格编码器生成强大且自然抗缺失数据的嵌入,并将其与来自预训练视觉骨干网络的图像特征结合。 我们探索了一系列融合策略和表格编码器,并在自然和医学数据集上评估了我们的方法。 广泛的实验表明,TIME在完整和不完整的表格输入上始终优于竞争基准,突显了其在实际多模态学习场景中的实用价值。
文献和引用工具
与本文相关的代码,数据和媒体
alphaXiv (什么是 alphaXiv?)
CatalyzeX 代码查找器 (什么是 CatalyzeX?)
DagsHub (什么是 DagsHub?)
Gotit.pub (什么是 GotitPub?)
Hugging Face (什么是 Huggingface?)
带有代码的论文 (什么是带有代码的论文?)
ScienceCast (什么是 ScienceCast?)
演示
推荐器和搜索工具
arXivLabs:与社区合作伙伴的实验项目
arXivLabs 是一个框架,允许合作伙伴直接在我们的网站上开发和分享新的 arXiv 特性。
与 arXivLabs 合作的个人和组织都接受了我们的价值观,即开放、社区、卓越和用户数据隐私。arXiv 承诺这些价值观,并且只与遵守这些价值观的合作伙伴合作。
有一个为 arXiv 社区增加价值的项目想法吗? 了解更多关于 arXivLabs 的信息.