计算机科学 > 人工智能
[提交于 2025年4月6日
]
标题： 捕捉人工智能的注意力：重复、幻觉、偏见及其他
标题： Capturing AI's Attention: Physics of Repetition, Hallucination, Bias and Beyond
摘要： 我们推导了大型语言模型（LLMs）核心“魔法”（例如，ChatGPT、Claude）中AI引擎的基本注意力头的首性原理物理理论。该理论允许对突出的AI挑战（如输出重复、幻觉和有害内容以及偏见，例如来自训练和微调）进行定量分析。其预测与大规模LLMs的输出一致。其双体形式表明为什么LLMs表现如此出色，但暗示广义三体注意力会让这种AI工作得更好。它与自旋浴的相似性意味着现有的物理专业知识可以立即被利用来帮助社会确保AI值得信赖且不易被操纵。
当前浏览上下文:
cond-mat.other
收藏
文献和引用工具
与本文相关的代码，数据和媒体
alphaXiv (什么是 alphaXiv？)
CatalyzeX 代码查找器 (什么是 CatalyzeX？)
DagsHub (什么是 DagsHub？)
Gotit.pub (什么是 GotitPub？)
Hugging Face (什么是 Huggingface？)
带有代码的论文 (什么是带有代码的论文？)
ScienceCast (什么是 ScienceCast？)
演示
推荐器和搜索工具
arXivLabs：与社区合作伙伴的实验项目
arXivLabs 是一个框架，允许合作伙伴直接在我们的网站上开发和分享新的 arXiv 特性。
与 arXivLabs 合作的个人和组织都接受了我们的价值观，即开放、社区、卓越和用户数据隐私。arXiv 承诺这些价值观，并且只与遵守这些价值观的合作伙伴合作。
有一个为 arXiv 社区增加价值的项目想法吗？ 了解更多关于 arXivLabs 的信息.