Skip to main content
CenXiv.org
此网站处于试运行阶段,支持我们!
我们衷心感谢所有贡献者的支持。
贡献
赞助
cenxiv logo > cs > arXiv:2507.11435

帮助 | 高级搜索

计算机科学 > 声音

arXiv:2507.11435 (cs)
[提交于 2025年7月15日 ]

标题: FasTUSS:更快的任务感知统一源分离

标题: FasTUSS: Faster Task-Aware Unified Source Separation

Authors:Francesco Paissan, Gordon Wichern, Yoshiki Masuyama, Ryo Aihara, François G. Germain, Kohei Saijo, Jonathan Le Roux
摘要: 时间-频率(TF)双路径模型目前是表现最好的音频源分离网络架构,在语音增强、音乐源分离和电影音频源分离中达到了最先进性能。 尽管它们的参数数量相对较低,但仍需要大量的运算,这意味着执行时间更长。 这个问题由于更大模型的趋势而加剧,这些模型在大量数据上训练以解决更通用的任务,例如最近引入的任务感知统一源分离(TUSS)模型。 TUSS旨在使用一个条件模型解决音频源分离任务,它建立在TF-Locoformer之上,TF-Locoformer是一种结合卷积和注意力层的TF双路径模型。 任务定义以一系列提示的形式出现,这些提示指定了要提取的源的数量和类型。 在本文中,我们分析了TUSS的设计选择,以优化其性能-复杂度权衡。 我们推导出两个更高效的模型,FasTUSS-8.3G和FasTUSS-11.7G,分别将原始模型的运算量减少了81%和73%,平均在所有基准测试中性能下降分别为1.2~dB和0.4~dB。 此外,我们研究了提示条件的影响,推导出一个因果TUSS模型。
摘要: Time-Frequency (TF) dual-path models are currently among the best performing audio source separation network architectures, achieving state-of-the-art performance in speech enhancement, music source separation, and cinematic audio source separation. While they are characterized by a relatively low parameter count, they still require a considerable number of operations, implying a higher execution time. This problem is exacerbated by the trend towards bigger models trained on large amounts of data to solve more general tasks, such as the recently introduced task-aware unified source separation (TUSS) model. TUSS, which aims to solve audio source separation tasks using a single, conditional model, is built upon TF-Locoformer, a TF dual-path model combining convolution and attention layers. The task definition comes in the form of a sequence of prompts that specify the number and type of sources to be extracted. In this paper, we analyze the design choices of TUSS with the goal of optimizing its performance-complexity trade-off. We derive two more efficient models, FasTUSS-8.3G and FasTUSS-11.7G that reduce the original model's operations by 81\% and 73\% with minor performance drops of 1.2~dB and 0.4~dB averaged over all benchmarks, respectively. Additionally, we investigate the impact of prompt conditioning to derive a causal TUSS model.
评论: 被WASPAA 2025接收
主题: 声音 (cs.SD) ; 音频与语音处理 (eess.AS); 信号处理 (eess.SP)
引用方式: arXiv:2507.11435 [cs.SD]
  (或者 arXiv:2507.11435v1 [cs.SD] 对于此版本)
  https://doi.org/10.48550/arXiv.2507.11435
通过 DataCite 发表的 arXiv DOI

提交历史

来自: Francesco Paissan [查看电子邮件]
[v1] 星期二, 2025 年 7 月 15 日 15:57:28 UTC (140 KB)
全文链接:

获取论文:

    查看标题为《》的 PDF
  • 查看中文 PDF
  • 查看 PDF
  • HTML(实验性)
  • TeX 源代码
  • 其他格式
查看许可
当前浏览上下文:
eess
< 上一篇   |   下一篇 >
新的 | 最近的 | 2025-07
切换浏览方式为:
cs
cs.SD
eess.AS
eess.SP

参考文献与引用

  • NASA ADS
  • 谷歌学术搜索
  • 语义学者
a 导出 BibTeX 引用 加载中...

BibTeX 格式的引用

×
数据由提供:

收藏

BibSonomy logo Reddit logo

文献和引用工具

文献资源探索 (什么是资源探索?)
连接的论文 (什么是连接的论文?)
Litmaps (什么是 Litmaps?)
scite 智能引用 (什么是智能引用?)

与本文相关的代码,数据和媒体

alphaXiv (什么是 alphaXiv?)
CatalyzeX 代码查找器 (什么是 CatalyzeX?)
DagsHub (什么是 DagsHub?)
Gotit.pub (什么是 GotitPub?)
Hugging Face (什么是 Huggingface?)
带有代码的论文 (什么是带有代码的论文?)
ScienceCast (什么是 ScienceCast?)

演示

复制 (什么是复制?)
Hugging Face Spaces (什么是 Spaces?)
TXYZ.AI (什么是 TXYZ.AI?)

推荐器和搜索工具

影响之花 (什么是影响之花?)
核心推荐器 (什么是核心?)
IArxiv 推荐器 (什么是 IArxiv?)
  • 作者
  • 地点
  • 机构
  • 主题

arXivLabs:与社区合作伙伴的实验项目

arXivLabs 是一个框架,允许合作伙伴直接在我们的网站上开发和分享新的 arXiv 特性。

与 arXivLabs 合作的个人和组织都接受了我们的价值观,即开放、社区、卓越和用户数据隐私。arXiv 承诺这些价值观,并且只与遵守这些价值观的合作伙伴合作。

有一个为 arXiv 社区增加价值的项目想法吗? 了解更多关于 arXivLabs 的信息.

这篇论文的哪些作者是支持者? | 禁用 MathJax (什么是 MathJax?)
  • 关于
  • 帮助
  • contact arXivClick here to contact arXiv 联系
  • 订阅 arXiv 邮件列表点击这里订阅 订阅
  • 版权
  • 隐私政策
  • 网络无障碍帮助
  • arXiv 运营状态
    通过...获取状态通知 email 或者 slack

京ICP备2025123034号