Skip to main content
CenXiv.org
此网站处于试运行阶段,支持我们!
我们衷心感谢所有贡献者的支持。
贡献
赞助
cenxiv logo > cs > arXiv:2505.00533

帮助 | 高级搜索

计算机科学 > 机器学习

arXiv:2505.00533 (cs)
[提交于 2025年5月1日 (v1) ,最后修订 2025年6月9日 (此版本, v2)]

标题: 测试时的相关性对齐

标题: Test-time Correlation Alignment

Authors:Linjing You, Jiabao Lu, Xiayuan Huang
摘要: 深度神经网络在分布偏移下经常退化。尽管领域适应提供了一种解决方案,但隐私约束通常会阻止访问源数据,使得仅使用未标记测试数据进行测试时适应(TTA)变得越来越有吸引力。然而,当前的 TTA 方法仍然面临实际挑战:(1) 主要关注实例级对齐,由于缺少源相关性而忽略了 CORrelation ALignment (CORAL);(2) 复杂的反向传播操作用于模型更新,导致计算开销和(3) 领域遗忘。为了解决这些挑战,我们提供了理论分析以研究测试时相关性对齐 (TCA) 的可行性,证明了高置信度实例与测试实例之间的相关性对齐可以在理论上保证提升测试性能。基于此,我们提出了两种简单但有效的算法:LinearTCA 和 LinearTCA+。LinearTCA 通过简单的线性变换实现实例和相关性对齐,而无需额外的模型更新,而 LinearTCA+ 可作为即插即用模块轻松提升现有的 TTA 方法。广泛的实验验证了我们的理论洞察,并表明 TCA 方法在各种任务、基准和主干上显著优于基线。值得注意的是,与最佳 TTA 基线相比,LinearTCA 在仅使用 4% 的 GPU 内存和 0.6% 的计算时间的情况下实现了更高的准确性。它还在 CLIP 上比现有方法高出 1.86%。
摘要: Deep neural networks often degrade under distribution shifts. Although domain adaptation offers a solution, privacy constraints often prevent access to source data, making Test-Time Adaptation (TTA, which adapts using only unlabeled test data) increasingly attractive. However, current TTA methods still face practical challenges: (1) a primary focus on instance-wise alignment, overlooking CORrelation ALignment (CORAL) due to missing source correlations; (2) complex backpropagation operations for model updating, resulting in overhead computation and (3) domain forgetting. To address these challenges, we provide a theoretical analysis to investigate the feasibility of Test-time Correlation Alignment (TCA), demonstrating that correlation alignment between high-certainty instances and test instances can enhance test performances with a theoretical guarantee. Based on this, we propose two simple yet effective algorithms: LinearTCA and LinearTCA+. LinearTCA applies a simple linear transformation to achieve both instance and correlation alignment without additional model updates, while LinearTCA+ serves as a plug-and-play module that can easily boost existing TTA methods. Extensive experiments validate our theoretical insights and show that TCA methods significantly outperforms baselines across various tasks, benchmarks and backbones. Notably, LinearTCA achieves higher accuracy with only 4% GPU memory and 0.6% computation time compared to the best TTA baseline. It also outperforms existing methods on CLIP over 1.86%.
评论: 已被ICML2025接受
主题: 机器学习 (cs.LG) ; 人工智能 (cs.AI)
引用方式: arXiv:2505.00533 [cs.LG]
  (或者 arXiv:2505.00533v2 [cs.LG] 对于此版本)
  https://doi.org/10.48550/arXiv.2505.00533
通过 DataCite 发表的 arXiv DOI

提交历史

来自: Linjing You [查看电子邮件]
[v1] 星期四, 2025 年 5 月 1 日 13:59:13 UTC (630 KB)
[v2] 星期一, 2025 年 6 月 9 日 08:09:00 UTC (633 KB)
全文链接:

获取论文:

    查看标题为《》的 PDF
  • 查看中文 PDF
  • 查看 PDF
  • HTML(实验性)
  • TeX 源代码
  • 其他格式
查看许可
当前浏览上下文:
cs.LG
< 上一篇   |   下一篇 >
新的 | 最近的 | 2025-05
切换浏览方式为:
cs
cs.AI

参考文献与引用

  • NASA ADS
  • 谷歌学术搜索
  • 语义学者
a 导出 BibTeX 引用 加载中...

BibTeX 格式的引用

×
数据由提供:

收藏

BibSonomy logo Reddit logo

文献和引用工具

文献资源探索 (什么是资源探索?)
连接的论文 (什么是连接的论文?)
Litmaps (什么是 Litmaps?)
scite 智能引用 (什么是智能引用?)

与本文相关的代码,数据和媒体

alphaXiv (什么是 alphaXiv?)
CatalyzeX 代码查找器 (什么是 CatalyzeX?)
DagsHub (什么是 DagsHub?)
Gotit.pub (什么是 GotitPub?)
Hugging Face (什么是 Huggingface?)
带有代码的论文 (什么是带有代码的论文?)
ScienceCast (什么是 ScienceCast?)

演示

复制 (什么是复制?)
Hugging Face Spaces (什么是 Spaces?)
TXYZ.AI (什么是 TXYZ.AI?)

推荐器和搜索工具

影响之花 (什么是影响之花?)
核心推荐器 (什么是核心?)
IArxiv 推荐器 (什么是 IArxiv?)
  • 作者
  • 地点
  • 机构
  • 主题

arXivLabs:与社区合作伙伴的实验项目

arXivLabs 是一个框架,允许合作伙伴直接在我们的网站上开发和分享新的 arXiv 特性。

与 arXivLabs 合作的个人和组织都接受了我们的价值观,即开放、社区、卓越和用户数据隐私。arXiv 承诺这些价值观,并且只与遵守这些价值观的合作伙伴合作。

有一个为 arXiv 社区增加价值的项目想法吗? 了解更多关于 arXivLabs 的信息.

这篇论文的哪些作者是支持者? | 禁用 MathJax (什么是 MathJax?)
  • 关于
  • 帮助
  • contact arXivClick here to contact arXiv 联系
  • 订阅 arXiv 邮件列表点击这里订阅 订阅
  • 版权
  • 隐私政策
  • 网络无障碍帮助
  • arXiv 运营状态
    通过...获取状态通知 email 或者 slack

京ICP备2025123034号