计算机科学 > 计算与语言
[提交于 2024年12月29日
(v1)
,最后修订 2025年5月3日 (此版本, v2)]
标题: ELECTRA 和 GPT-4o:情感分析的成本效益合作伙伴
标题: ELECTRA and GPT-4o: Cost-Effective Partners for Sentiment Analysis
摘要: 双向 Transformer 在情感分析方面表现出色,大型语言模型(LLM)是有效的零样本学习者。它们作为一个团队工作时,表现是否会更好? 本文探讨了 ELECTRA 和 GPT-4o 在三向情感分类中的协作方法。我们使用斯坦福情感树库(SST)和 DynaSent 的评论混合数据集,对四种模型(ELECTRA 基础版/大型版,GPT-4o/4o-mini)进行了微调(FT)。我们将 ELECTRA 的预测标签、概率和检索到的示例作为输入提供给 GPT。 与单独使用任一模型相比,向 GPT-4o-mini 提供 ELECTRA 基础版 FT 预测显著提高了性能(82.50 宏观 F1 对比 79.14 ELECTRA 基础版 FT,79.41 GPT-4o-mini),并且获得了最低的成本/性能比(每 F1 点成本为 \$0.12)。然而,当 GPT 模型被微调时,包括预测会降低性能。GPT-4o FT-M 表现最佳(86.99),而 GPT-4o-mini FT 也紧随其后(86.70),但成本更低(每 F1 点成本分别为 \$0.38 和 \$1.59)。 我们的结果显示,用经过微调的编码器的预测来增强提示是一种提高性能的有效方法,并且经过微调的 GPT-4o-mini 在降低成本 76% 的情况下几乎可以媲美 GPT-4o FT。这两种方法都是资源有限项目中负担得起的选择。
文献和引用工具
与本文相关的代码,数据和媒体
alphaXiv (什么是 alphaXiv?)
CatalyzeX 代码查找器 (什么是 CatalyzeX?)
DagsHub (什么是 DagsHub?)
Gotit.pub (什么是 GotitPub?)
Hugging Face (什么是 Huggingface?)
带有代码的论文 (什么是带有代码的论文?)
ScienceCast (什么是 ScienceCast?)
演示
推荐器和搜索工具
arXivLabs:与社区合作伙伴的实验项目
arXivLabs 是一个框架,允许合作伙伴直接在我们的网站上开发和分享新的 arXiv 特性。
与 arXivLabs 合作的个人和组织都接受了我们的价值观,即开放、社区、卓越和用户数据隐私。arXiv 承诺这些价值观,并且只与遵守这些价值观的合作伙伴合作。
有一个为 arXiv 社区增加价值的项目想法吗? 了解更多关于 arXivLabs 的信息.