标题： 人类注视增强对象中心表示学习 显示英文标题

标题： Human Gaze Boosts Object-Centered Representation Learning

摘要： 最近的自监督学习（SSL）模型在人类类似的第一视角视觉输入上训练，在图像识别任务中的表现明显低于人类。 这些模型在从头戴式相机收集的原始、统一的视觉输入上进行训练。 这与人类不同，因为视网膜和视觉皮层的解剖结构相对放大了中心视觉信息，即人类注视位置周围的区域。 人类的这种选择性放大可能有助于形成以物体为中心的视觉表征。 在此，我们研究专注于中心视觉信息是否有助于第一视角视觉物体学习。 我们使用大规模的Ego4D数据集模拟5个月的第一视角视觉体验，并使用人类注视预测模型生成注视位置。 为了考虑人类中心视觉的重要性，我们裁剪注视位置周围的视觉区域。 最后，我们在这些修改后的输入上训练一个基于时间的SSL模型。 我们的实验表明，专注于中心视觉可以产生更好的以物体为中心的表征。 我们的分析显示，SSL模型利用注视运动的时间动态来构建更强的视觉表征。 总体而言，我们的工作标志着向生物启发的视觉表征学习迈出了重要一步。 显示英文摘要

摘要： Recent self-supervised learning (SSL) models trained on human-like egocentric visual inputs substantially underperform on image recognition tasks compared to humans. These models train on raw, uniform visual inputs collected from head-mounted cameras. This is different from humans, as the anatomical structure of the retina and visual cortex relatively amplifies the central visual information, i.e. around humans' gaze location. This selective amplification in humans likely aids in forming object-centered visual representations. Here, we investigate whether focusing on central visual information boosts egocentric visual object learning. We simulate 5-months of egocentric visual experience using the large-scale Ego4D dataset and generate gaze locations with a human gaze prediction model. To account for the importance of central vision in humans, we crop the visual area around the gaze location. Finally, we train a time-based SSL model on these modified inputs. Our experiments demonstrate that focusing on central vision leads to better object-centered representations. Our analysis shows that the SSL model leverages the temporal dynamics of the gaze movements to build stronger visual representations. Overall, our work marks a significant step toward bio-inspired learning of visual representations.