计算机科学 > 人工智能
[提交于 2025年7月25日
]
标题: 一种受神经科学启发的组合泛化双过程模型
标题: A Neuroscience-Inspired Dual-Process Model of Compositional Generalization
摘要: 系统性组合泛化——构建和理解已知构建块的新组合——仍然是人工智能系统的核心挑战。 人类认知通过海马体(HPC)和前额叶皮层(PFC)的相互作用实现这种灵活性:海马体快速编码事件,而前额叶皮层将它们巩固为可用于推理的可重用模式。 基于这些见解,我们提出了MIRAGE(基于通用经验的规则和抽象的元推理),这是一个在组合任务上实现系统泛化的框架。 MIRAGE有两个相互作用的模块,模仿大脑的深思熟虑的HPC-PFC循环和直觉性的新皮层模式识别。 (1)元训练的Transformer神经分解器,类比新皮层“系统1”计算,在任务无关的随机采样的组合语法流上进行训练,每次遍历应用一次分解步骤,后续遍历迭代地优化序列表示。 (2)模式引擎,类似于HPC-PFC“系统2”循环,动态提取、排序并应用可重用模式,将变量绑定存储在情景记忆中,并在需要时扩展它们。 通过显式地为MIRAGE的Transformer组件配备主动管理的模式结构,我们的模型通过显式的模式应用和转换进行系统性组合操作,在解决完全新颖任务时仅依赖冻结的权重。 这种方法在SCAN基准测试中展示了系统性组合泛化,仅使用变压器模块中的1.19M参数,在所有任务分割上达到了> 99%的准确率。 消融研究证实,MIRAGE的系统性关键取决于提取模式的质量和模型的迭代优化过程。
文献和引用工具
与本文相关的代码,数据和媒体
alphaXiv (什么是 alphaXiv?)
CatalyzeX 代码查找器 (什么是 CatalyzeX?)
DagsHub (什么是 DagsHub?)
Gotit.pub (什么是 GotitPub?)
Hugging Face (什么是 Huggingface?)
带有代码的论文 (什么是带有代码的论文?)
ScienceCast (什么是 ScienceCast?)
演示
推荐器和搜索工具
arXivLabs:与社区合作伙伴的实验项目
arXivLabs 是一个框架,允许合作伙伴直接在我们的网站上开发和分享新的 arXiv 特性。
与 arXivLabs 合作的个人和组织都接受了我们的价值观,即开放、社区、卓越和用户数据隐私。arXiv 承诺这些价值观,并且只与遵守这些价值观的合作伙伴合作。
有一个为 arXiv 社区增加价值的项目想法吗? 了解更多关于 arXivLabs 的信息.