计算机科学 > 计算与语言
[提交于 2025年1月4日
(v1)
,最后修订 2025年6月3日 (此版本, v4)]
标题: 显式与隐式:通过自我反思研究大型语言模型中的社会偏见
标题: Explicit vs. Implicit: Investigating Social Bias in Large Language Models through Self-Reflection
摘要: 大型语言模型(LLMs)在其生成的内容中已被证明表现出各种偏见和刻板印象。尽管已有大量研究调查了LLMs中的偏见问题,但先前的工作主要集中在显式偏见上,对隐式偏见以及这两种偏见之间的关系关注较少。 本文提出了一种基于社会心理学理论的系统性框架,用于调查和比较LLMs中的显式和隐式偏见。我们提出了一个新颖的基于自我反思的评估框架,该框架分为两个阶段:首先通过模拟的心理评估方法测量隐式偏见,然后通过提示LLMs分析它们自己生成的内容来评估显式偏见。 通过对多个社会维度上的高级LLMs进行广泛的实验,我们表明LLMs在显式和隐式偏见之间存在显著不一致:虽然显式偏见表现为轻微的刻板印象,但隐式偏见表现出强烈的刻板印象。 我们进一步研究导致这种显式-隐式偏见不一致的潜在因素,考察训练数据规模、模型大小以及对齐技术的影响。实验结果显示,虽然显式偏见随着训练数据量和模型规模的增加而下降,但隐式偏见却呈现出相反的上升趋势。此外,当代的对齐方法能够有效抑制显式偏见,但在减轻隐式偏见方面效果有限。
文献和引用工具
与本文相关的代码,数据和媒体
alphaXiv (什么是 alphaXiv?)
CatalyzeX 代码查找器 (什么是 CatalyzeX?)
DagsHub (什么是 DagsHub?)
Gotit.pub (什么是 GotitPub?)
Hugging Face (什么是 Huggingface?)
带有代码的论文 (什么是带有代码的论文?)
ScienceCast (什么是 ScienceCast?)
演示
推荐器和搜索工具
arXivLabs:与社区合作伙伴的实验项目
arXivLabs 是一个框架,允许合作伙伴直接在我们的网站上开发和分享新的 arXiv 特性。
与 arXivLabs 合作的个人和组织都接受了我们的价值观,即开放、社区、卓越和用户数据隐私。arXiv 承诺这些价值观,并且只与遵守这些价值观的合作伙伴合作。
有一个为 arXiv 社区增加价值的项目想法吗? 了解更多关于 arXivLabs 的信息.