Skip to main content
CenXiv.org
此网站处于试运行阶段,支持我们!
我们衷心感谢所有贡献者的支持。
贡献
赞助
cenxiv logo > cs > arXiv:2505.24649

帮助 | 高级搜索

计算机科学 > 计算机视觉与模式识别

arXiv:2505.24649 (cs)
[提交于 2025年5月30日 ]

标题: BIMA:双向最大似然学习方法在大型视觉-语言模型中的幻觉预测与缓解研究

标题: BIMA: Bijective Maximum Likelihood Learning Approach to Hallucination Prediction and Mitigation in Large Vision-Language Models

Authors:Huu-Thien Tran, Thanh-Dat Truong, Khoa Luu
摘要: 大型视觉-语言模型已在各个领域得到广泛应用。然而,开发一个可信的系统,并具有大规模模型的最小可解释特性,这构成了重大挑战。这些系统导致的谬误函数最常见的术语之一是幻觉,即语言模型生成的响应与视觉内容不对应。为了缓解这个问题,已经开发了几种方法,其中一个突出的方向是改进解码过程。本文提出了一种新的双射最大似然学习(BIMA)方法,利用归一化流理论来减轻幻觉问题。所提出的BIMA方法可以高效地减轻现有视觉-语言模型中的幻觉问题,带来显著的改进。值得注意的是,BIMA在POPE基准上的平均F1得分为85.06%,并且分别显著减少了CHAIRS和CHAIRI 7.6%和2.6%。据我们所知,这是最早考虑双射方法以减少由大型视觉-语言模型引起的幻觉的研究之一。
摘要: Large vision-language models have become widely adopted to advance in various domains. However, developing a trustworthy system with minimal interpretable characteristics of large-scale models presents a significant challenge. One of the most prevalent terms associated with the fallacy functions caused by these systems is hallucination, where the language model generates a response that does not correspond to the visual content. To mitigate this problem, several approaches have been developed, and one prominent direction is to ameliorate the decoding process. In this paper, we propose a new Bijective Maximum Likelihood Learning (BIMA) approach to hallucination mitigation using normalizing flow theories. The proposed BIMA method can efficiently mitigate the hallucination problem in prevailing vision-language models, resulting in significant improvements. Notably, BIMA achieves the average F1 score of 85.06% on POPE benchmark and remarkably reduce CHAIRS and CHAIRI by 7.6% and 2.6%, respectively. To the best of our knowledge, this is one of the first studies that contemplates the bijection means to reduce hallucination induced by large vision-language models.
评论: CVPRW 2025, 8页, 4幅图
主题: 计算机视觉与模式识别 (cs.CV) ; 人工智能 (cs.AI)
引用方式: arXiv:2505.24649 [cs.CV]
  (或者 arXiv:2505.24649v1 [cs.CV] 对于此版本)
  https://doi.org/10.48550/arXiv.2505.24649
通过 DataCite 发表的 arXiv DOI

提交历史

来自: Huu-Thien Tran [查看电子邮件]
[v1] 星期五, 2025 年 5 月 30 日 14:38:07 UTC (3,712 KB)
全文链接:

获取论文:

    查看标题为《》的 PDF
  • 查看中文 PDF
  • 查看 PDF
  • HTML(实验性)
  • TeX 源代码
  • 其他格式
许可图标 查看许可
当前浏览上下文:
cs.CV
< 上一篇   |   下一篇 >
新的 | 最近的 | 2025-05
切换浏览方式为:
cs
cs.AI

参考文献与引用

  • NASA ADS
  • 谷歌学术搜索
  • 语义学者
a 导出 BibTeX 引用 加载中...

BibTeX 格式的引用

×
数据由提供:

收藏

BibSonomy logo Reddit logo

文献和引用工具

文献资源探索 (什么是资源探索?)
连接的论文 (什么是连接的论文?)
Litmaps (什么是 Litmaps?)
scite 智能引用 (什么是智能引用?)

与本文相关的代码,数据和媒体

alphaXiv (什么是 alphaXiv?)
CatalyzeX 代码查找器 (什么是 CatalyzeX?)
DagsHub (什么是 DagsHub?)
Gotit.pub (什么是 GotitPub?)
Hugging Face (什么是 Huggingface?)
带有代码的论文 (什么是带有代码的论文?)
ScienceCast (什么是 ScienceCast?)

演示

复制 (什么是复制?)
Hugging Face Spaces (什么是 Spaces?)
TXYZ.AI (什么是 TXYZ.AI?)

推荐器和搜索工具

影响之花 (什么是影响之花?)
核心推荐器 (什么是核心?)
IArxiv 推荐器 (什么是 IArxiv?)
  • 作者
  • 地点
  • 机构
  • 主题

arXivLabs:与社区合作伙伴的实验项目

arXivLabs 是一个框架,允许合作伙伴直接在我们的网站上开发和分享新的 arXiv 特性。

与 arXivLabs 合作的个人和组织都接受了我们的价值观,即开放、社区、卓越和用户数据隐私。arXiv 承诺这些价值观,并且只与遵守这些价值观的合作伙伴合作。

有一个为 arXiv 社区增加价值的项目想法吗? 了解更多关于 arXivLabs 的信息.

这篇论文的哪些作者是支持者? | Disable MathJax (什么是 MathJax?)
  • 关于
  • 帮助
  • contact arXivClick here to contact arXiv 联系
  • 订阅 arXiv 邮件列表点击这里订阅 订阅
  • 版权
  • 隐私政策
  • 网络无障碍帮助
  • arXiv 运营状态
    通过...获取状态通知 email 或者 slack

京ICP备2025123034号