计算机科学 > 计算与语言
[提交于 2025年1月4日
]
标题: CPTuning:生成式关系抽取的对比提示微调
标题: CPTuning: Contrastive Prompt Tuning for Generative Relation Extraction
摘要: 生成式关系抽取(RE)通常首先将RE重新表述为一个易于通过预训练语言模型(PLM)解决的语言建模问题,然后使用监督交叉熵损失对PLM进行微调。 尽管取得了有希望的性能,现有方法假设每对实体之间只有一种确定性关系,而没有考虑实际场景中可能存在多种有效关系的情况,即实体对重叠,导致其应用受限。 为了解决这个问题,我们引入了一种新颖的对比提示微调方法用于RE,称为CPTuning,它学习将两个上下文实体之间的候选关系与高于或低于阈值的概率质量相关联,对应于该关系是否存在。 除了学习模式,CPTuning还将RE组织为一种显式关系生成任务,并使用Trie约束解码以确保模型生成有效关系。 它在推理中自适应地选择生成的候选关系,这些关系具有较高的估计可能性,从而实现了多关系抽取。 我们在四个广泛使用的数据集上进行了大量实验以验证我们的方法。 结果表明,使用CPTuning微调的T5-large显著优于之前的方法,无论是在单关系还是多关系抽取方面。
文献和引用工具
与本文相关的代码,数据和媒体
alphaXiv (什么是 alphaXiv?)
CatalyzeX 代码查找器 (什么是 CatalyzeX?)
DagsHub (什么是 DagsHub?)
Gotit.pub (什么是 GotitPub?)
Hugging Face (什么是 Huggingface?)
带有代码的论文 (什么是带有代码的论文?)
ScienceCast (什么是 ScienceCast?)
演示
推荐器和搜索工具
arXivLabs:与社区合作伙伴的实验项目
arXivLabs 是一个框架,允许合作伙伴直接在我们的网站上开发和分享新的 arXiv 特性。
与 arXivLabs 合作的个人和组织都接受了我们的价值观,即开放、社区、卓越和用户数据隐私。arXiv 承诺这些价值观,并且只与遵守这些价值观的合作伙伴合作。
有一个为 arXiv 社区增加价值的项目想法吗? 了解更多关于 arXivLabs 的信息.