计算机科学 > 声音
[提交于 2025年7月15日
]
标题: FasTUSS:更快的任务感知统一源分离
标题: FasTUSS: Faster Task-Aware Unified Source Separation
摘要: 时间-频率(TF)双路径模型目前是表现最好的音频源分离网络架构,在语音增强、音乐源分离和电影音频源分离中达到了最先进性能。 尽管它们的参数数量相对较低,但仍需要大量的运算,这意味着执行时间更长。 这个问题由于更大模型的趋势而加剧,这些模型在大量数据上训练以解决更通用的任务,例如最近引入的任务感知统一源分离(TUSS)模型。 TUSS旨在使用一个条件模型解决音频源分离任务,它建立在TF-Locoformer之上,TF-Locoformer是一种结合卷积和注意力层的TF双路径模型。 任务定义以一系列提示的形式出现,这些提示指定了要提取的源的数量和类型。 在本文中,我们分析了TUSS的设计选择,以优化其性能-复杂度权衡。 我们推导出两个更高效的模型,FasTUSS-8.3G和FasTUSS-11.7G,分别将原始模型的运算量减少了81%和73%,平均在所有基准测试中性能下降分别为1.2~dB和0.4~dB。 此外,我们研究了提示条件的影响,推导出一个因果TUSS模型。
文献和引用工具
与本文相关的代码,数据和媒体
alphaXiv (什么是 alphaXiv?)
CatalyzeX 代码查找器 (什么是 CatalyzeX?)
DagsHub (什么是 DagsHub?)
Gotit.pub (什么是 GotitPub?)
Hugging Face (什么是 Huggingface?)
带有代码的论文 (什么是带有代码的论文?)
ScienceCast (什么是 ScienceCast?)
演示
推荐器和搜索工具
arXivLabs:与社区合作伙伴的实验项目
arXivLabs 是一个框架,允许合作伙伴直接在我们的网站上开发和分享新的 arXiv 特性。
与 arXivLabs 合作的个人和组织都接受了我们的价值观,即开放、社区、卓越和用户数据隐私。arXiv 承诺这些价值观,并且只与遵守这些价值观的合作伙伴合作。
有一个为 arXiv 社区增加价值的项目想法吗? 了解更多关于 arXivLabs 的信息.