计算机科学 > 机器学习
[提交于 2025年6月25日
]
标题: 关于上下文-内容不确定性原理
标题: On Context-Content Uncertainty Principle
摘要: 上下文-内容不确定性原理(CCUP)提出,在不确定性下的推理受上下文和内容之间的熵不对称性所支配:高熵的上下文必须通过与低熵、结构化内容的对齐来解释。 在本文中,我们开发了一个分层的计算框架,该框架从此基本的不对称性中推导出操作原则。 在基础层,CCUP将推理形式化为方向性熵最小化,建立一个有利于内容优先结构的变分梯度。 在此基础上,我们确定了四个层次的操作原则:(\textbf{L1}) \emph{核心 推理约束},包括结构优先于特定性、非对称推理流、循环一致性自举和条件压缩,所有这些都被证明是相互可约的;(\textbf{L2}) \emph{资源分配 原则},例如精度加权注意力、非对称学习率和基于吸引子的记忆编码;(\textbf{L3}) \emph{时间自举 动力学},它们通过结构引导的课程组织随时间的学习;以及(\textbf{L4}) \emph{空间分层组合},它们将这些机制整合到自我组织的记忆、推理和规划循环中。 我们提出形式等价定理,原理之间的依赖格,以及展示CCUP对齐推理效率提升的计算模拟。 这项工作为理解大脑和机器如何通过递归结构特异性对齐来最小化不确定性提供了统一的理论基础。 大脑不仅仅是一个推理机器。 它是一个循环一致的熵梯度解决者,通过路径依赖、内容种子模拟来对齐结构和特异性。
文献和引用工具
与本文相关的代码,数据和媒体
alphaXiv (什么是 alphaXiv?)
CatalyzeX 代码查找器 (什么是 CatalyzeX?)
DagsHub (什么是 DagsHub?)
Gotit.pub (什么是 GotitPub?)
Hugging Face (什么是 Huggingface?)
带有代码的论文 (什么是带有代码的论文?)
ScienceCast (什么是 ScienceCast?)
演示
推荐器和搜索工具
arXivLabs:与社区合作伙伴的实验项目
arXivLabs 是一个框架,允许合作伙伴直接在我们的网站上开发和分享新的 arXiv 特性。
与 arXivLabs 合作的个人和组织都接受了我们的价值观,即开放、社区、卓越和用户数据隐私。arXiv 承诺这些价值观,并且只与遵守这些价值观的合作伙伴合作。
有一个为 arXiv 社区增加价值的项目想法吗? 了解更多关于 arXivLabs 的信息.