Skip to main content
CenXiv.org
此网站处于试运行阶段,支持我们!
我们衷心感谢所有贡献者的支持。
贡献
赞助
cenxiv logo > cs > arXiv:2507.00493v2

帮助 | 高级搜索

计算机科学 > 计算机视觉与模式识别

arXiv:2507.00493v2 (cs)
[提交于 2025年7月1日 (v1) ,最后修订 2025年7月3日 (此版本, v2)]

标题: 视觉字谜揭示了不同视觉模型整体形状处理中的隐藏差异

标题: Visual Anagrams Reveal Hidden Differences in Holistic Shape Processing Across Vision Models

Authors:Fenil R. Doshi, Thomas Fel, Talia Konkle, George Alvarez
摘要: 人类能够基于局部纹理线索和物体部分的配置来识别物体,然而当代视觉模型主要提取局部纹理线索,导致特征脆弱且非组合性。 形状与纹理偏差的研究将形状和纹理表示对立起来,以形状相对于纹理来衡量,忽略了模型(和人类)可以同时依赖这两种线索的可能性,并掩盖了这两种表示的绝对质量。 因此,我们将形状评估重新定义为绝对配置能力的问题,通过配置形状得分(CSS)来实现,该得分(i)衡量在保留局部纹理的同时,通过置换全局部分排列来描绘不同物体类别的物体混写对中识别图像的能力。 在86个卷积、Transformer和混合模型中,CSS(ii)揭示了广泛的配置敏感性,完全自监督和语言对齐的Transformer——如DINOv2、SigLIP2和EVA-CLIP——占据了CSS谱系的顶端。 机制探测显示,(iii)高CSS网络依赖于长距离交互:半径控制的关注掩码会消除性能,显示出独特的U型整合轮廓,并且表征相似性分析揭示了从局部到全局编码的中深度过渡。 BagNet对照组仍处于随机水平(iv),排除了“边界黑客”策略。 最后,(v)我们展示了配置形状得分也能预测其他依赖形状的评估。 总体而言,我们认为通向真正稳健、可泛化和类人视觉系统之路可能不在于强迫在形状和纹理之间做出人工选择,而在于能够无缝整合局部纹理和全局配置形状的架构和学习框架。
摘要: Humans are able to recognize objects based on both local texture cues and the configuration of object parts, yet contemporary vision models primarily harvest local texture cues, yielding brittle, non-compositional features. Work on shape-vs-texture bias has pitted shape and texture representations in opposition, measuring shape relative to texture, ignoring the possibility that models (and humans) can simultaneously rely on both types of cues, and obscuring the absolute quality of both types of representation. We therefore recast shape evaluation as a matter of absolute configural competence, operationalized by the Configural Shape Score (CSS), which (i) measures the ability to recognize both images in Object-Anagram pairs that preserve local texture while permuting global part arrangement to depict different object categories. Across 86 convolutional, transformer, and hybrid models, CSS (ii) uncovers a broad spectrum of configural sensitivity with fully self-supervised and language-aligned transformers -- exemplified by DINOv2, SigLIP2 and EVA-CLIP -- occupying the top end of the CSS spectrum. Mechanistic probes reveal that (iii) high-CSS networks depend on long-range interactions: radius-controlled attention masks abolish performance showing a distinctive U-shaped integration profile, and representational-similarity analyses expose a mid-depth transition from local to global coding. A BagNet control remains at chance (iv), ruling out "border-hacking" strategies. Finally, (v) we show that configural shape score also predicts other shape-dependent evals. Overall, we propose that the path toward truly robust, generalizable, and human-like vision systems may not lie in forcing an artificial choice between shape and texture, but rather in architectural and learning frameworks that seamlessly integrate both local-texture and global configural shape.
评论: 项目页面:https://www.fenildoshi.com/configural-shape/ 已更新 电子邮件地址
主题: 计算机视觉与模式识别 (cs.CV) ; 人工智能 (cs.AI)
引用方式: arXiv:2507.00493 [cs.CV]
  (或者 arXiv:2507.00493v2 [cs.CV] 对于此版本)
  https://doi.org/10.48550/arXiv.2507.00493
通过 DataCite 发表的 arXiv DOI

提交历史

来自: Fenil R. Doshi [查看电子邮件]
[v1] 星期二, 2025 年 7 月 1 日 07:08:56 UTC (5,729 KB)
[v2] 星期四, 2025 年 7 月 3 日 18:51:47 UTC (5,728 KB)
全文链接:

获取论文:

    查看标题为《》的 PDF
  • 查看中文 PDF
  • 查看 PDF
  • HTML(实验性)
  • TeX 源代码
  • 其他格式
许可图标 查看许可
当前浏览上下文:
cs.CV
< 上一篇   |   下一篇 >
新的 | 最近的 | 2025-07
切换浏览方式为:
cs
cs.AI

参考文献与引用

  • NASA ADS
  • 谷歌学术搜索
  • 语义学者
a 导出 BibTeX 引用 加载中...

BibTeX 格式的引用

×
数据由提供:

收藏

BibSonomy logo Reddit logo

文献和引用工具

文献资源探索 (什么是资源探索?)
连接的论文 (什么是连接的论文?)
Litmaps (什么是 Litmaps?)
scite 智能引用 (什么是智能引用?)

与本文相关的代码,数据和媒体

alphaXiv (什么是 alphaXiv?)
CatalyzeX 代码查找器 (什么是 CatalyzeX?)
DagsHub (什么是 DagsHub?)
Gotit.pub (什么是 GotitPub?)
Hugging Face (什么是 Huggingface?)
带有代码的论文 (什么是带有代码的论文?)
ScienceCast (什么是 ScienceCast?)

演示

复制 (什么是复制?)
Hugging Face Spaces (什么是 Spaces?)
TXYZ.AI (什么是 TXYZ.AI?)

推荐器和搜索工具

影响之花 (什么是影响之花?)
核心推荐器 (什么是核心?)
IArxiv 推荐器 (什么是 IArxiv?)
  • 作者
  • 地点
  • 机构
  • 主题

arXivLabs:与社区合作伙伴的实验项目

arXivLabs 是一个框架,允许合作伙伴直接在我们的网站上开发和分享新的 arXiv 特性。

与 arXivLabs 合作的个人和组织都接受了我们的价值观,即开放、社区、卓越和用户数据隐私。arXiv 承诺这些价值观,并且只与遵守这些价值观的合作伙伴合作。

有一个为 arXiv 社区增加价值的项目想法吗? 了解更多关于 arXivLabs 的信息.

这篇论文的哪些作者是支持者? | 禁用 MathJax (什么是 MathJax?)
  • 关于
  • 帮助
  • contact arXivClick here to contact arXiv 联系
  • 订阅 arXiv 邮件列表点击这里订阅 订阅
  • 版权
  • 隐私政策
  • 网络无障碍帮助
  • arXiv 运营状态
    通过...获取状态通知 email 或者 slack

京ICP备2025123034号