标题： 超越自注意力：具有多模态融合的亚二次傅里叶小波变换器 显示英文标题

标题： Beyond Self Attention: A Subquadratic Fourier Wavelet Transformer with Multi Modal Fusion

摘要： 我们重新审视了使用谱技术通过基于傅里叶变换的标记混合来替代Transformer中的注意力机制的方法，并在下一代Transformer模型中提出了这一技术的一个全面且新颖的重构。 我们提供了扩展的文献背景，傅里叶混合和因果掩码的详细数学公式，并引入了一种新的多域傅里叶小波注意力（MDFWA），该方法结合了频率和时间局部化的变换，以有效地捕捉全局和局部依赖关系。 我们推导了复杂度界限和梯度公式，并展示了MDFWA在实现亚二次时间和内存成本的同时提高了表达能力。 我们在PubMed数据集上使用抽象摘要任务验证了我们的设计，通过学习频率基、自适应尺度选择和多模态扩展增强了所提出的方法。 显示英文摘要

摘要： We revisit the use of spectral techniques to replaces the attention mechanism in Transformers through Fourier Transform based token mixing, and present a comprehensive and novel reformulation of this technique in next generation transformer models. We provide expanded literature context, detailed mathematical formulations of Fourier mixing and causal masking, and introduce a novel MultiDomain Fourier Wavelet Attention(MDFWA) that integrates frequency and time localized transforms to capture both global and local dependencies efficiently. We derive the complexity bounds, gradient formulas, and show that MDFWA achieves sub quadratic time and memory cost while improving expressive power. We validate our design on an abstractive summarization task using PubMed dataset, by enhancing the proposed approach with learned frequency bases, adaptive scale selection, and multi-modal extensions.