Skip to main content
CenXiv.org
此网站处于试运行阶段,支持我们!
我们衷心感谢所有贡献者的支持。
贡献
赞助
cenxiv logo > cs > arXiv:2501.02196

帮助 | 高级搜索

计算机科学 > 计算与语言

arXiv:2501.02196 (cs)
[提交于 2025年1月4日 ]

标题: CPTuning:生成式关系抽取的对比提示微调

标题: CPTuning: Contrastive Prompt Tuning for Generative Relation Extraction

Authors:Jiaxin Duan, Fengyu Lu, Junfei Liu
摘要: 生成式关系抽取(RE)通常首先将RE重新表述为一个易于通过预训练语言模型(PLM)解决的语言建模问题,然后使用监督交叉熵损失对PLM进行微调。 尽管取得了有希望的性能,现有方法假设每对实体之间只有一种确定性关系,而没有考虑实际场景中可能存在多种有效关系的情况,即实体对重叠,导致其应用受限。 为了解决这个问题,我们引入了一种新颖的对比提示微调方法用于RE,称为CPTuning,它学习将两个上下文实体之间的候选关系与高于或低于阈值的概率质量相关联,对应于该关系是否存在。 除了学习模式,CPTuning还将RE组织为一种显式关系生成任务,并使用Trie约束解码以确保模型生成有效关系。 它在推理中自适应地选择生成的候选关系,这些关系具有较高的估计可能性,从而实现了多关系抽取。 我们在四个广泛使用的数据集上进行了大量实验以验证我们的方法。 结果表明,使用CPTuning微调的T5-large显著优于之前的方法,无论是在单关系还是多关系抽取方面。
摘要: Generative relation extraction (RE) commonly involves first reformulating RE as a linguistic modeling problem easily tackled with pre-trained language models (PLM) and then fine-tuning a PLM with supervised cross-entropy loss. Although having achieved promising performance, existing approaches assume only one deterministic relation between each pair of entities without considering real scenarios where multiple relations may be valid, i.e., entity pair overlap, causing their limited applications. To address this problem, we introduce a novel contrastive prompt tuning method for RE, CPTuning, which learns to associate a candidate relation between two in-context entities with a probability mass above or below a threshold, corresponding to whether the relation exists. Beyond learning schema, CPTuning also organizes RE as a verbalized relation generation task and uses Trie-constrained decoding to ensure a model generates valid relations. It adaptively picks out the generated candidate relations with a high estimated likelihood in inference, thereby achieving multi-relation extraction. We conduct extensive experiments on four widely used datasets to validate our method. Results show that T5-large fine-tuned with CPTuning significantly outperforms previous methods, regardless of single or multiple relations extraction.
主题: 计算与语言 (cs.CL) ; 人工智能 (cs.AI)
引用方式: arXiv:2501.02196 [cs.CL]
  (或者 arXiv:2501.02196v1 [cs.CL] 对于此版本)
  https://doi.org/10.48550/arXiv.2501.02196
通过 DataCite 发表的 arXiv DOI

提交历史

来自: Jiaxin Duan [查看电子邮件]
[v1] 星期六, 2025 年 1 月 4 日 05:17:34 UTC (2,355 KB)
全文链接:

获取论文:

    查看标题为《》的 PDF
  • 查看中文 PDF
  • 查看 PDF
  • HTML(实验性)
  • TeX 源代码
  • 其他格式
许可图标 查看许可
当前浏览上下文:
cs.CL
< 上一篇   |   下一篇 >
新的 | 最近的 | 2025-01
切换浏览方式为:
cs
cs.AI

参考文献与引用

  • NASA ADS
  • 谷歌学术搜索
  • 语义学者
a 导出 BibTeX 引用 加载中...

BibTeX 格式的引用

×
数据由提供:

收藏

BibSonomy logo Reddit logo

文献和引用工具

文献资源探索 (什么是资源探索?)
连接的论文 (什么是连接的论文?)
Litmaps (什么是 Litmaps?)
scite 智能引用 (什么是智能引用?)

与本文相关的代码,数据和媒体

alphaXiv (什么是 alphaXiv?)
CatalyzeX 代码查找器 (什么是 CatalyzeX?)
DagsHub (什么是 DagsHub?)
Gotit.pub (什么是 GotitPub?)
Hugging Face (什么是 Huggingface?)
带有代码的论文 (什么是带有代码的论文?)
ScienceCast (什么是 ScienceCast?)

演示

复制 (什么是复制?)
Hugging Face Spaces (什么是 Spaces?)
TXYZ.AI (什么是 TXYZ.AI?)

推荐器和搜索工具

影响之花 (什么是影响之花?)
核心推荐器 (什么是核心?)
IArxiv 推荐器 (什么是 IArxiv?)
  • 作者
  • 地点
  • 机构
  • 主题

arXivLabs:与社区合作伙伴的实验项目

arXivLabs 是一个框架,允许合作伙伴直接在我们的网站上开发和分享新的 arXiv 特性。

与 arXivLabs 合作的个人和组织都接受了我们的价值观,即开放、社区、卓越和用户数据隐私。arXiv 承诺这些价值观,并且只与遵守这些价值观的合作伙伴合作。

有一个为 arXiv 社区增加价值的项目想法吗? 了解更多关于 arXivLabs 的信息.

这篇论文的哪些作者是支持者? | 禁用 MathJax (什么是 MathJax?)
  • 关于
  • 帮助
  • contact arXivClick here to contact arXiv 联系
  • 订阅 arXiv 邮件列表点击这里订阅 订阅
  • 版权
  • 隐私政策
  • 网络无障碍帮助
  • arXiv 运营状态
    通过...获取状态通知 email 或者 slack

京ICP备2025123034号