Skip to main content
CenXiv.org
此网站处于试运行阶段,支持我们!
我们衷心感谢所有贡献者的支持。
贡献
赞助
cenxiv logo > cs > arXiv:2212.01551

帮助 | 高级搜索

计算机科学 > 信息论

arXiv:2212.01551 (cs)
[提交于 2022年12月3日 (v1) ,最后修订 2024年3月7日 (此版本, v3)]

标题: 量化因果涌现的原因:因果结构中不确定性和不对称性的临界条件

标题: Quantify the Causes of Causal Emergence: Critical Conditions of Uncertainty and Asymmetry in Causal Structure

Authors:Liye Jia, Fengyufan Yang, Ka Lok Man, Erick Purwanto, Sheng-Uei Guan, Jeremy Smith, Yutao Yue
摘要: 对高级计算设备有益,具有大量参数的模型被越来越多地用于提取更多信息,以提高描述和预测客观系统模式的精度。 这一现象在与深度学习相关的研究领域尤为明显。 然而,在过去十年中,基于统计和信息理论的因果关系研究给大规模模型带来了有趣而有价值的挑战。 宏观模型在有效表示系统方面可以优于具有更多参数的微观模型。 这种有价值的情况被称为“因果涌现”。 本文根据有效信息和转移概率矩阵,引入了一个量化框架,用于评估因果涌现的数值条件,作为其发生的理论约束。 具体而言,我们的结果定量证明了因果涌现的原因。 通过一种特定的粗粒化策略,优化模型因果结构中的不确定性和不对称性,比由于模型规模变化而导致的最大信息丢失更具影响力。 此外,通过深入研究部分信息分解和深度学习网络在因果涌现研究中表现出的潜力,我们讨论了我们的量化框架在未来因果涌现研究中可能发挥作用的潜在应用场景。
摘要: Beneficial to advanced computing devices, models with massive parameters are increasingly employed to extract more information to enhance the precision in describing and predicting the patterns of objective systems. This phenomenon is particularly pronounced in research domains associated with deep learning. However, investigations of causal relationships based on statistical and informational theories have posed an interesting and valuable challenge to large-scale models in the recent decade. Macroscopic models with fewer parameters can outperform their microscopic counterparts with more parameters in effectively representing the system. This valuable situation is called "Causal Emergence." This paper introduces a quantification framework, according to the Effective Information and Transition Probability Matrix, for assessing numerical conditions of Causal Emergence as theoretical constraints of its occurrence. Specifically, our results quantitatively prove the cause of Causal Emergence. By a particular coarse-graining strategy, optimizing uncertainty and asymmetry within the model's causal structure is significantly more influential than losing maximum information due to variations in model scales. Moreover, by delving into the potential exhibited by Partial Information Decomposition and Deep Learning networks in the study of Causal Emergence, we discuss potential application scenarios where our quantification framework could play a role in future investigations of Causal Emergence.
评论: 18页,14图
主题: 信息论 (cs.IT) ; 人工智能 (cs.AI); 计算物理 (physics.comp-ph)
ACM 类: H.1.0; J.2; I.2.m
引用方式: arXiv:2212.01551 [cs.IT]
  (或者 arXiv:2212.01551v3 [cs.IT] 对于此版本)
  https://doi.org/10.48550/arXiv.2212.01551
通过 DataCite 发表的 arXiv DOI

提交历史

来自: Yutao Yue [查看电子邮件]
[v1] 星期六, 2022 年 12 月 3 日 06:35:54 UTC (909 KB)
[v2] 星期五, 2023 年 2 月 3 日 08:18:16 UTC (1,250 KB)
[v3] 星期四, 2024 年 3 月 7 日 02:10:54 UTC (2,923 KB)
全文链接:

获取论文:

    查看标题为《》的 PDF
  • 查看中文 PDF
  • 查看 PDF
  • HTML(实验性)
  • TeX 源代码
许可图标 查看许可
当前浏览上下文:
cs.IT
< 上一篇   |   下一篇 >
新的 | 最近的 | 2022-12
切换浏览方式为:
cs
cs.AI
math
math.IT
physics
physics.comp-ph

参考文献与引用

  • NASA ADS
  • 谷歌学术搜索
  • 语义学者
a 导出 BibTeX 引用 加载中...

BibTeX 格式的引用

×
数据由提供:

收藏

BibSonomy logo Reddit logo

文献和引用工具

文献资源探索 (什么是资源探索?)
连接的论文 (什么是连接的论文?)
Litmaps (什么是 Litmaps?)
scite 智能引用 (什么是智能引用?)

与本文相关的代码,数据和媒体

alphaXiv (什么是 alphaXiv?)
CatalyzeX 代码查找器 (什么是 CatalyzeX?)
DagsHub (什么是 DagsHub?)
Gotit.pub (什么是 GotitPub?)
Hugging Face (什么是 Huggingface?)
带有代码的论文 (什么是带有代码的论文?)
ScienceCast (什么是 ScienceCast?)

演示

复制 (什么是复制?)
Hugging Face Spaces (什么是 Spaces?)
TXYZ.AI (什么是 TXYZ.AI?)

推荐器和搜索工具

影响之花 (什么是影响之花?)
核心推荐器 (什么是核心?)
IArxiv 推荐器 (什么是 IArxiv?)
  • 作者
  • 地点
  • 机构
  • 主题

arXivLabs:与社区合作伙伴的实验项目

arXivLabs 是一个框架,允许合作伙伴直接在我们的网站上开发和分享新的 arXiv 特性。

与 arXivLabs 合作的个人和组织都接受了我们的价值观,即开放、社区、卓越和用户数据隐私。arXiv 承诺这些价值观,并且只与遵守这些价值观的合作伙伴合作。

有一个为 arXiv 社区增加价值的项目想法吗? 了解更多关于 arXivLabs 的信息.

这篇论文的哪些作者是支持者? | 禁用 MathJax (什么是 MathJax?)
  • 关于
  • 帮助
  • contact arXivClick here to contact arXiv 联系
  • 订阅 arXiv 邮件列表点击这里订阅 订阅
  • 版权
  • 隐私政策
  • 网络无障碍帮助
  • arXiv 运营状态
    通过...获取状态通知 email 或者 slack

京ICP备2025123034号