电气工程与系统科学 > 音频与语音处理
[提交于 2025年7月31日
]
标题: 旋律-歌词匹配的对比对齐损失
标题: Melody-Lyrics Matching with Contrastive Alignment Loss
摘要: 音乐与歌词之间的联系远超语义纽带。 两种模态中的概念对,如节奏与押韵、音符时长与音节重音以及结构对应关系,在音乐信息检索领域提出了一个引人注目但很少被探索的方向。 在本文中,我们提出了一种新的任务——旋律-歌词匹配(MLM),该任务从文本资源中检索给定符号旋律的潜在歌词。 与从头生成歌词不同,MLM本质上利用了旋律与歌词之间的关系。 我们提出了一种带有对比对齐损失的自监督表示学习框架,用于旋律和歌词。 这有望利用现有成对旋律和歌词的丰富数据。 不需要对齐标注。 此外,我们引入了sylphone,这是一种新颖的歌词音节级表示,由音素身份和元音重音激活。 我们通过实证结果和直观示例证明,我们的方法可以与连贯且可唱的歌词进行匹配。 我们开源了代码,并在配套网页上提供了匹配示例:https://github.com/changhongw/mlm。
文献和引用工具
与本文相关的代码,数据和媒体
alphaXiv (什么是 alphaXiv?)
CatalyzeX 代码查找器 (什么是 CatalyzeX?)
DagsHub (什么是 DagsHub?)
Gotit.pub (什么是 GotitPub?)
Hugging Face (什么是 Huggingface?)
带有代码的论文 (什么是带有代码的论文?)
ScienceCast (什么是 ScienceCast?)
演示
推荐器和搜索工具
arXivLabs:与社区合作伙伴的实验项目
arXivLabs 是一个框架,允许合作伙伴直接在我们的网站上开发和分享新的 arXiv 特性。
与 arXivLabs 合作的个人和组织都接受了我们的价值观,即开放、社区、卓越和用户数据隐私。arXiv 承诺这些价值观,并且只与遵守这些价值观的合作伙伴合作。
有一个为 arXiv 社区增加价值的项目想法吗? 了解更多关于 arXivLabs 的信息.