计算机科学 > 信息论
[提交于 2022年12月3日
(v1)
,最后修订 2024年3月7日 (此版本, v3)]
标题: 量化因果涌现的原因:因果结构中不确定性和不对称性的临界条件
标题: Quantify the Causes of Causal Emergence: Critical Conditions of Uncertainty and Asymmetry in Causal Structure
摘要: 对高级计算设备有益,具有大量参数的模型被越来越多地用于提取更多信息,以提高描述和预测客观系统模式的精度。 这一现象在与深度学习相关的研究领域尤为明显。 然而,在过去十年中,基于统计和信息理论的因果关系研究给大规模模型带来了有趣而有价值的挑战。 宏观模型在有效表示系统方面可以优于具有更多参数的微观模型。 这种有价值的情况被称为“因果涌现”。 本文根据有效信息和转移概率矩阵,引入了一个量化框架,用于评估因果涌现的数值条件,作为其发生的理论约束。 具体而言,我们的结果定量证明了因果涌现的原因。 通过一种特定的粗粒化策略,优化模型因果结构中的不确定性和不对称性,比由于模型规模变化而导致的最大信息丢失更具影响力。 此外,通过深入研究部分信息分解和深度学习网络在因果涌现研究中表现出的潜力,我们讨论了我们的量化框架在未来因果涌现研究中可能发挥作用的潜在应用场景。
当前浏览上下文:
cs.IT
文献和引用工具
与本文相关的代码,数据和媒体
alphaXiv (什么是 alphaXiv?)
CatalyzeX 代码查找器 (什么是 CatalyzeX?)
DagsHub (什么是 DagsHub?)
Gotit.pub (什么是 GotitPub?)
Hugging Face (什么是 Huggingface?)
带有代码的论文 (什么是带有代码的论文?)
ScienceCast (什么是 ScienceCast?)
演示
推荐器和搜索工具
arXivLabs:与社区合作伙伴的实验项目
arXivLabs 是一个框架,允许合作伙伴直接在我们的网站上开发和分享新的 arXiv 特性。
与 arXivLabs 合作的个人和组织都接受了我们的价值观,即开放、社区、卓越和用户数据隐私。arXiv 承诺这些价值观,并且只与遵守这些价值观的合作伙伴合作。
有一个为 arXiv 社区增加价值的项目想法吗? 了解更多关于 arXivLabs 的信息.