计算机科学 > 计算机视觉与模式识别
[提交于 2025年7月10日
]
标题: 多粒度评估用于大脑视觉解码
标题: Multigranular Evaluation for Brain Visual Decoding
摘要: 现有的脑视觉解码评估协议主要依赖于粗粒度指标,这些指标掩盖了模型间的差异,缺乏神经科学基础,并且无法捕捉精细的视觉区别。 为解决这些局限性,我们引入了BASIC,这是一个统一的多粒度评估框架,能够联合量化解码图像与真实图像之间的结构保真度、推断对齐度和上下文连贯性。 在结构层面,我们引入了一套分层的基于分割的指标,包括前景、语义、实例和组件掩码,这些指标基于跨掩码结构的粒度感知对应关系。 在语义层面,我们使用多模态大语言模型提取包含物体、属性和关系的结构化场景表示,从而实现与真实刺激的详细、可扩展且富含上下文的比较。 我们在这一统一的评估框架内对多种视觉解码方法进行了基准测试。 这些标准共同提供了一个更具区分性、可解释性和全面性的基础,用于衡量脑视觉解码方法。
文献和引用工具
与本文相关的代码,数据和媒体
alphaXiv (什么是 alphaXiv?)
CatalyzeX 代码查找器 (什么是 CatalyzeX?)
DagsHub (什么是 DagsHub?)
Gotit.pub (什么是 GotitPub?)
Hugging Face (什么是 Huggingface?)
带有代码的论文 (什么是带有代码的论文?)
ScienceCast (什么是 ScienceCast?)
演示
推荐器和搜索工具
arXivLabs:与社区合作伙伴的实验项目
arXivLabs 是一个框架,允许合作伙伴直接在我们的网站上开发和分享新的 arXiv 特性。
与 arXivLabs 合作的个人和组织都接受了我们的价值观,即开放、社区、卓越和用户数据隐私。arXiv 承诺这些价值观,并且只与遵守这些价值观的合作伙伴合作。
有一个为 arXiv 社区增加价值的项目想法吗? 了解更多关于 arXivLabs 的信息.