Skip to main content
CenXiv.org
此网站处于试运行阶段,支持我们!
我们衷心感谢所有贡献者的支持。
贡献
赞助
cenxiv logo > cs > arXiv:2501.00062v2

帮助 | 高级搜索

计算机科学 > 计算与语言

arXiv:2501.00062v2 (cs)
[提交于 2024年12月29日 (v1) ,最后修订 2025年5月3日 (此版本, v2)]

标题: ELECTRA 和 GPT-4o:情感分析的成本效益合作伙伴

标题: ELECTRA and GPT-4o: Cost-Effective Partners for Sentiment Analysis

Authors:James P. Beno
摘要: 双向 Transformer 在情感分析方面表现出色,大型语言模型(LLM)是有效的零样本学习者。它们作为一个团队工作时,表现是否会更好? 本文探讨了 ELECTRA 和 GPT-4o 在三向情感分类中的协作方法。我们使用斯坦福情感树库(SST)和 DynaSent 的评论混合数据集,对四种模型(ELECTRA 基础版/大型版,GPT-4o/4o-mini)进行了微调(FT)。我们将 ELECTRA 的预测标签、概率和检索到的示例作为输入提供给 GPT。 与单独使用任一模型相比,向 GPT-4o-mini 提供 ELECTRA 基础版 FT 预测显著提高了性能(82.50 宏观 F1 对比 79.14 ELECTRA 基础版 FT,79.41 GPT-4o-mini),并且获得了最低的成本/性能比(每 F1 点成本为 \$0.12)。然而,当 GPT 模型被微调时,包括预测会降低性能。GPT-4o FT-M 表现最佳(86.99),而 GPT-4o-mini FT 也紧随其后(86.70),但成本更低(每 F1 点成本分别为 \$0.38 和 \$1.59)。 我们的结果显示,用经过微调的编码器的预测来增强提示是一种提高性能的有效方法,并且经过微调的 GPT-4o-mini 在降低成本 76% 的情况下几乎可以媲美 GPT-4o FT。这两种方法都是资源有限项目中负担得起的选择。
摘要: Bidirectional transformers excel at sentiment analysis, and Large Language Models (LLM) are effective zero-shot learners. Might they perform better as a team? This paper explores collaborative approaches between ELECTRA and GPT-4o for three-way sentiment classification. We fine-tuned (FT) four models (ELECTRA Base/Large, GPT-4o/4o-mini) using a mix of reviews from Stanford Sentiment Treebank (SST) and DynaSent. We provided input from ELECTRA to GPT as: predicted label, probabilities, and retrieved examples. Sharing ELECTRA Base FT predictions with GPT-4o-mini significantly improved performance over either model alone (82.50 macro F1 vs. 79.14 ELECTRA Base FT, 79.41 GPT-4o-mini) and yielded the lowest cost/performance ratio (\$0.12/F1 point). However, when GPT models were fine-tuned, including predictions decreased performance. GPT-4o FT-M was the top performer (86.99), with GPT-4o-mini FT close behind (86.70) at much less cost (\$0.38 vs. \$1.59/F1 point). Our results show that augmenting prompts with predictions from fine-tuned encoders is an efficient way to boost performance, and a fine-tuned GPT-4o-mini is nearly as good as GPT-4o FT at 76% less cost. Both are affordable options for projects with limited resources.
评论: 19页,4幅图。源代码和数据可在https://github.com/jbeno/sentiment获取。
主题: 计算与语言 (cs.CL) ; 人工智能 (cs.AI)
ACM 类: I.2.7
引用方式: arXiv:2501.00062 [cs.CL]
  (或者 arXiv:2501.00062v2 [cs.CL] 对于此版本)
  https://doi.org/10.48550/arXiv.2501.00062
通过 DataCite 发表的 arXiv DOI
期刊参考: Proceedings of the 4th International Workshop on Knowledge-Augmented Methods for Natural Language Processing, Association for Computational Linguistics, Albuquerque, New Mexico, USA (2025) 18-36

提交历史

来自: James Beno [查看电子邮件]
[v1] 星期日, 2024 年 12 月 29 日 05:29:52 UTC (331 KB)
[v2] 星期六, 2025 年 5 月 3 日 23:36:30 UTC (347 KB)
全文链接:

获取论文:

    查看标题为《》的 PDF
  • 查看中文 PDF
  • 查看 PDF
  • HTML(实验性)
  • TeX 源代码
  • 其他格式
查看许可
当前浏览上下文:
cs.CL
< 上一篇   |   下一篇 >
新的 | 最近的 | 2025-01
切换浏览方式为:
cs
cs.AI

参考文献与引用

  • NASA ADS
  • 谷歌学术搜索
  • 语义学者
a 导出 BibTeX 引用 加载中...

BibTeX 格式的引用

×
数据由提供:

收藏

BibSonomy logo Reddit logo

文献和引用工具

文献资源探索 (什么是资源探索?)
连接的论文 (什么是连接的论文?)
Litmaps (什么是 Litmaps?)
scite 智能引用 (什么是智能引用?)

与本文相关的代码,数据和媒体

alphaXiv (什么是 alphaXiv?)
CatalyzeX 代码查找器 (什么是 CatalyzeX?)
DagsHub (什么是 DagsHub?)
Gotit.pub (什么是 GotitPub?)
Hugging Face (什么是 Huggingface?)
带有代码的论文 (什么是带有代码的论文?)
ScienceCast (什么是 ScienceCast?)

演示

复制 (什么是复制?)
Hugging Face Spaces (什么是 Spaces?)
TXYZ.AI (什么是 TXYZ.AI?)

推荐器和搜索工具

影响之花 (什么是影响之花?)
核心推荐器 (什么是核心?)
IArxiv 推荐器 (什么是 IArxiv?)
  • 作者
  • 地点
  • 机构
  • 主题

arXivLabs:与社区合作伙伴的实验项目

arXivLabs 是一个框架,允许合作伙伴直接在我们的网站上开发和分享新的 arXiv 特性。

与 arXivLabs 合作的个人和组织都接受了我们的价值观,即开放、社区、卓越和用户数据隐私。arXiv 承诺这些价值观,并且只与遵守这些价值观的合作伙伴合作。

有一个为 arXiv 社区增加价值的项目想法吗? 了解更多关于 arXivLabs 的信息.

这篇论文的哪些作者是支持者? | 禁用 MathJax (什么是 MathJax?)
  • 关于
  • 帮助
  • contact arXivClick here to contact arXiv 联系
  • 订阅 arXiv 邮件列表点击这里订阅 订阅
  • 版权
  • 隐私政策
  • 网络无障碍帮助
  • arXiv 运营状态
    通过...获取状态通知 email 或者 slack

京ICP备2025123034号