计算机科学 > 机器学习
[提交于 2025年7月2日
]
标题: GeoAda:使用等变适配器高效微调几何扩散模型
标题: GeoAda: Efficiently Finetune Geometric Diffusion Models with Equivariant Adapters
摘要: 几何扩散模型在分子动力学和结构生成中表现出显著的成功。然而,对于具有不同几何控制的下游任务,高效微调它们仍然研究不足。在本工作中,我们提出了一种SE(3)-等变适配器框架(GeoAda),该框架能够在不修改原始模型架构的情况下,实现可控生成任务的灵活且参数高效的微调。GeoAda引入了一种结构化的适配器设计:控制信号首先通过耦合算子进行编码,然后由可训练的选定预训练模型层副本进行处理,最后通过解耦算子投影回原空间,并随后进行等变零初始化卷积。通过仅微调这些轻量级适配器模块,GeoAda保持了模型的几何一致性,同时减轻了过拟合和灾难性遗忘。我们理论证明了所提出的适配器保持SE(3)-等变性,确保预训练扩散模型的几何归纳偏置在适应过程中保持完整。我们在多种几何控制类型上展示了GeoAda的广泛应用性,包括框架控制、全局控制、子图控制以及广泛的领域应用,如粒子动力学、分子动力学、人体运动预测和分子生成。实验结果表明,GeoAda在保持原始任务准确性的同时实现了最先进的微调性能,而其他基线方法由于过拟合和灾难性遗忘导致性能显著下降。
文献和引用工具
与本文相关的代码,数据和媒体
alphaXiv (什么是 alphaXiv?)
CatalyzeX 代码查找器 (什么是 CatalyzeX?)
DagsHub (什么是 DagsHub?)
Gotit.pub (什么是 GotitPub?)
Hugging Face (什么是 Huggingface?)
带有代码的论文 (什么是带有代码的论文?)
ScienceCast (什么是 ScienceCast?)
演示
推荐器和搜索工具
arXivLabs:与社区合作伙伴的实验项目
arXivLabs 是一个框架,允许合作伙伴直接在我们的网站上开发和分享新的 arXiv 特性。
与 arXivLabs 合作的个人和组织都接受了我们的价值观,即开放、社区、卓越和用户数据隐私。arXiv 承诺这些价值观,并且只与遵守这些价值观的合作伙伴合作。
有一个为 arXiv 社区增加价值的项目想法吗? 了解更多关于 arXivLabs 的信息.