Skip to main content
CenXiv.org
此网站处于试运行阶段,支持我们!
我们衷心感谢所有贡献者的支持。
贡献
赞助
cenxiv logo > cs > arXiv:2501.02295

帮助 | 高级搜索

计算机科学 > 计算与语言

arXiv:2501.02295 (cs)
[提交于 2025年1月4日 (v1) ,最后修订 2025年6月3日 (此版本, v4)]

标题: 显式与隐式:通过自我反思研究大型语言模型中的社会偏见

标题: Explicit vs. Implicit: Investigating Social Bias in Large Language Models through Self-Reflection

Authors:Yachao Zhao, Bo Wang, Yan Wang, Dongming Zhao, Ruifang He, Yuexian Hou
摘要: 大型语言模型(LLMs)在其生成的内容中已被证明表现出各种偏见和刻板印象。尽管已有大量研究调查了LLMs中的偏见问题,但先前的工作主要集中在显式偏见上,对隐式偏见以及这两种偏见之间的关系关注较少。 本文提出了一种基于社会心理学理论的系统性框架,用于调查和比较LLMs中的显式和隐式偏见。我们提出了一个新颖的基于自我反思的评估框架,该框架分为两个阶段:首先通过模拟的心理评估方法测量隐式偏见,然后通过提示LLMs分析它们自己生成的内容来评估显式偏见。 通过对多个社会维度上的高级LLMs进行广泛的实验,我们表明LLMs在显式和隐式偏见之间存在显著不一致:虽然显式偏见表现为轻微的刻板印象,但隐式偏见表现出强烈的刻板印象。 我们进一步研究导致这种显式-隐式偏见不一致的潜在因素,考察训练数据规模、模型大小以及对齐技术的影响。实验结果显示,虽然显式偏见随着训练数据量和模型规模的增加而下降,但隐式偏见却呈现出相反的上升趋势。此外,当代的对齐方法能够有效抑制显式偏见,但在减轻隐式偏见方面效果有限。
摘要: Large Language Models (LLMs) have been shown to exhibit various biases and stereotypes in their generated content. While extensive research has investigated biases in LLMs, prior work has predominantly focused on explicit bias, with minimal attention to implicit bias and the relation between these two forms of bias. This paper presents a systematic framework grounded in social psychology theories to investigate and compare explicit and implicit biases in LLMs. We propose a novel self-reflection-based evaluation framework that operates in two phases: first measuring implicit bias through simulated psychological assessment methods, then evaluating explicit bias by prompting LLMs to analyze their own generated content. Through extensive experiments on advanced LLMs across multiple social dimensions, we demonstrate that LLMs exhibit a substantial inconsistency between explicit and implicit biases: while explicit bias manifests as mild stereotypes, implicit bias exhibits strong stereotypes. We further investigate the underlying factors contributing to this explicit-implicit bias inconsistency, examining the effects of training data scale, model size, and alignment techniques. Experimental results indicate that while explicit bias declines with increased training data and model size, implicit bias exhibits a contrasting upward trend. Moreover, contemporary alignment methods effectively suppress explicit bias but show limited efficacy in mitigating implicit bias.
评论: 已被ACL 2025接受
主题: 计算与语言 (cs.CL)
引用方式: arXiv:2501.02295 [cs.CL]
  (或者 arXiv:2501.02295v4 [cs.CL] 对于此版本)
  https://doi.org/10.48550/arXiv.2501.02295
通过 DataCite 发表的 arXiv DOI

提交历史

来自: Yachao Zhao [查看电子邮件]
[v1] 星期六, 2025 年 1 月 4 日 14:08:52 UTC (421 KB)
[v2] 星期五, 2025 年 3 月 7 日 06:16:34 UTC (905 KB)
[v3] 星期六, 2025 年 5 月 31 日 12:07:26 UTC (1,352 KB)
[v4] 星期二, 2025 年 6 月 3 日 06:37:54 UTC (1,352 KB)
全文链接:

获取论文:

    查看标题为《》的 PDF
  • 查看中文 PDF
  • 查看 PDF
  • HTML(实验性)
  • TeX 源代码
  • 其他格式
查看许可
当前浏览上下文:
cs.CL
< 上一篇   |   下一篇 >
新的 | 最近的 | 2025-01
切换浏览方式为:
cs

参考文献与引用

  • NASA ADS
  • 谷歌学术搜索
  • 语义学者
a 导出 BibTeX 引用 加载中...

BibTeX 格式的引用

×
数据由提供:

收藏

BibSonomy logo Reddit logo

文献和引用工具

文献资源探索 (什么是资源探索?)
连接的论文 (什么是连接的论文?)
Litmaps (什么是 Litmaps?)
scite 智能引用 (什么是智能引用?)

与本文相关的代码,数据和媒体

alphaXiv (什么是 alphaXiv?)
CatalyzeX 代码查找器 (什么是 CatalyzeX?)
DagsHub (什么是 DagsHub?)
Gotit.pub (什么是 GotitPub?)
Hugging Face (什么是 Huggingface?)
带有代码的论文 (什么是带有代码的论文?)
ScienceCast (什么是 ScienceCast?)

演示

复制 (什么是复制?)
Hugging Face Spaces (什么是 Spaces?)
TXYZ.AI (什么是 TXYZ.AI?)

推荐器和搜索工具

影响之花 (什么是影响之花?)
核心推荐器 (什么是核心?)
IArxiv 推荐器 (什么是 IArxiv?)
  • 作者
  • 地点
  • 机构
  • 主题

arXivLabs:与社区合作伙伴的实验项目

arXivLabs 是一个框架,允许合作伙伴直接在我们的网站上开发和分享新的 arXiv 特性。

与 arXivLabs 合作的个人和组织都接受了我们的价值观,即开放、社区、卓越和用户数据隐私。arXiv 承诺这些价值观,并且只与遵守这些价值观的合作伙伴合作。

有一个为 arXiv 社区增加价值的项目想法吗? 了解更多关于 arXivLabs 的信息.

这篇论文的哪些作者是支持者? | 禁用 MathJax (什么是 MathJax?)
  • 关于
  • 帮助
  • contact arXivClick here to contact arXiv 联系
  • 订阅 arXiv 邮件列表点击这里订阅 订阅
  • 版权
  • 隐私政策
  • 网络无障碍帮助
  • arXiv 运营状态
    通过...获取状态通知 email 或者 slack

京ICP备2025123034号