标题： 视觉变压器的自监督预训练用于动物行为分析和神经编码 显示英文标题

标题： Self-supervised pretraining of vision transformers for animal behavioral analysis and neural encoding

摘要： 通过它所产生的行为的视角，才能完全理解大脑——这是现代神经科学研究所遵循的一个指导原则，但仍然存在重大的技术挑战。 许多研究使用摄像头捕捉行为，但视频分析方法通常依赖于需要大量标记数据的专业模型。 我们通过BEAST（基于Transformer自监督预训练的行为分析）提出了一种新颖且可扩展的框架，该框架为多种神经行为分析预训练实验特定的视觉Transformer。 BEAST结合了掩码自编码器和时间对比学习，以有效利用未标记的视频数据。 通过在多个物种上的全面评估，我们展示了在三个关键神经行为任务中的性能提升：提取与神经活动相关的行为特征，以及在单动物和多动物设置中的姿态估计和动作分割。 我们的方法建立了一个强大而通用的主干模型，在标记数据仍然稀缺的场景中加速行为分析。 显示英文摘要

摘要： The brain can only be fully understood through the lens of the behavior it generates -- a guiding principle in modern neuroscience research that nevertheless presents significant technical challenges. Many studies capture behavior with cameras, but video analysis approaches typically rely on specialized models requiring extensive labeled data. We address this limitation with BEAST (BEhavioral Analysis via Self-supervised pretraining of Transformers), a novel and scalable framework that pretrains experiment-specific vision transformers for diverse neuro-behavior analyses. BEAST combines masked autoencoding with temporal contrastive learning to effectively leverage unlabeled video data. Through comprehensive evaluation across multiple species, we demonstrate improved performance in three critical neuro-behavioral tasks: extracting behavioral features that correlate with neural activity, and pose estimation and action segmentation in both the single- and multi-animal settings. Our method establishes a powerful and versatile backbone model that accelerates behavioral analysis in scenarios where labeled data remains scarce.