计算机科学 > 计算与语言
[提交于 2025年5月28日
(v1)
,最后修订 2025年5月30日 (此版本, v2)]
标题: FAMA:首个面向英语和意大利语的大型开放科学语音基础模型
标题: FAMA: The First Large-Scale Open-Science Speech Foundation Model for English and Italian
摘要: 像Whisper和SeamlessM4T这样的语音基础模型(SFM)的发展显著推动了语音处理领域的发展。然而,它们的封闭性质——无法获取训练数据和代码——带来了重大可重复性和公平评估的挑战。虽然其他领域通过开发完全透明的模型,在开源(OS)代码和数据上进行训练,已经取得了实质性进展,但语音领域的类似努力仍然有限。为填补这一空白,我们推出了FAMA,这是首个针对英语和意大利语的开放科学SFM系列,基于超过15万小时的开源语音数据进行训练。此外,我们还发布了一个包含两语言各16,000小时清理后且伪标注语音的新数据集。结果显示,FAMA的性能与现有SFM相当,同时速度提升高达8倍。所有成果,包括代码、数据集和模型,均以符合开源许可的方式发布,促进了语音技术研究中的开放性。
文献和引用工具
与本文相关的代码,数据和媒体
alphaXiv (什么是 alphaXiv?)
CatalyzeX 代码查找器 (什么是 CatalyzeX?)
DagsHub (什么是 DagsHub?)
Gotit.pub (什么是 GotitPub?)
Hugging Face (什么是 Huggingface?)
带有代码的论文 (什么是带有代码的论文?)
ScienceCast (什么是 ScienceCast?)
演示
推荐器和搜索工具
arXivLabs:与社区合作伙伴的实验项目
arXivLabs 是一个框架,允许合作伙伴直接在我们的网站上开发和分享新的 arXiv 特性。
与 arXivLabs 合作的个人和组织都接受了我们的价值观,即开放、社区、卓越和用户数据隐私。arXiv 承诺这些价值观,并且只与遵守这些价值观的合作伙伴合作。
有一个为 arXiv 社区增加价值的项目想法吗? 了解更多关于 arXivLabs 的信息.