计算机科学 > 机器学习
[提交于 2025年1月1日
(v1)
,最后修订 2025年1月4日 (此版本, v2)]
标题: 残差连接可以证明缓解图神经网络中的过度平滑问题
标题: Residual connections provably mitigate oversmoothing in graph neural networks
摘要: 图神经网络(GNNs)在处理和表示跨多个领域的图结构数据方面取得了显著的实证成功。 然而,一个被称为“过度平滑”的重大挑战依然存在,在深度GNN中,顶点特征变得几乎无法区分,严重限制了它们的表达能力和实际应用。 在本工作中,我们通过推导归一化顶点相似性度量的显式收敛速率,分析了带有和不带有残差连接的深度GNN的渐近过度平滑率。 我们的分析框架建立在乘法遍历定理的基础上。 此外,我们证明了添加残差连接可以有效缓解或防止在多个广泛的参数分布家族中出现的过度平滑现象。 理论结果得到了数值实验的强烈支持。
文献和引用工具
与本文相关的代码,数据和媒体
alphaXiv (什么是 alphaXiv?)
CatalyzeX 代码查找器 (什么是 CatalyzeX?)
DagsHub (什么是 DagsHub?)
Gotit.pub (什么是 GotitPub?)
Hugging Face (什么是 Huggingface?)
带有代码的论文 (什么是带有代码的论文?)
ScienceCast (什么是 ScienceCast?)
演示
推荐器和搜索工具
arXivLabs:与社区合作伙伴的实验项目
arXivLabs 是一个框架,允许合作伙伴直接在我们的网站上开发和分享新的 arXiv 特性。
与 arXivLabs 合作的个人和组织都接受了我们的价值观,即开放、社区、卓越和用户数据隐私。arXiv 承诺这些价值观,并且只与遵守这些价值观的合作伙伴合作。
有一个为 arXiv 社区增加价值的项目想法吗? 了解更多关于 arXivLabs 的信息.