计算机科学 > 计算机视觉与模式识别
[提交于 2025年7月1日
(v1)
,最后修订 2025年7月3日 (此版本, v2)]
标题: 视觉字谜揭示了不同视觉模型整体形状处理中的隐藏差异
标题: Visual Anagrams Reveal Hidden Differences in Holistic Shape Processing Across Vision Models
摘要: 人类能够基于局部纹理线索和物体部分的配置来识别物体,然而当代视觉模型主要提取局部纹理线索,导致特征脆弱且非组合性。 形状与纹理偏差的研究将形状和纹理表示对立起来,以形状相对于纹理来衡量,忽略了模型(和人类)可以同时依赖这两种线索的可能性,并掩盖了这两种表示的绝对质量。 因此,我们将形状评估重新定义为绝对配置能力的问题,通过配置形状得分(CSS)来实现,该得分(i)衡量在保留局部纹理的同时,通过置换全局部分排列来描绘不同物体类别的物体混写对中识别图像的能力。 在86个卷积、Transformer和混合模型中,CSS(ii)揭示了广泛的配置敏感性,完全自监督和语言对齐的Transformer——如DINOv2、SigLIP2和EVA-CLIP——占据了CSS谱系的顶端。 机制探测显示,(iii)高CSS网络依赖于长距离交互:半径控制的关注掩码会消除性能,显示出独特的U型整合轮廓,并且表征相似性分析揭示了从局部到全局编码的中深度过渡。 BagNet对照组仍处于随机水平(iv),排除了“边界黑客”策略。 最后,(v)我们展示了配置形状得分也能预测其他依赖形状的评估。 总体而言,我们认为通向真正稳健、可泛化和类人视觉系统之路可能不在于强迫在形状和纹理之间做出人工选择,而在于能够无缝整合局部纹理和全局配置形状的架构和学习框架。
文献和引用工具
与本文相关的代码,数据和媒体
alphaXiv (什么是 alphaXiv?)
CatalyzeX 代码查找器 (什么是 CatalyzeX?)
DagsHub (什么是 DagsHub?)
Gotit.pub (什么是 GotitPub?)
Hugging Face (什么是 Huggingface?)
带有代码的论文 (什么是带有代码的论文?)
ScienceCast (什么是 ScienceCast?)
演示
推荐器和搜索工具
arXivLabs:与社区合作伙伴的实验项目
arXivLabs 是一个框架,允许合作伙伴直接在我们的网站上开发和分享新的 arXiv 特性。
与 arXivLabs 合作的个人和组织都接受了我们的价值观,即开放、社区、卓越和用户数据隐私。arXiv 承诺这些价值观,并且只与遵守这些价值观的合作伙伴合作。
有一个为 arXiv 社区增加价值的项目想法吗? 了解更多关于 arXivLabs 的信息.