标题： SDMatte：用于交互式修图的扩散模型移植 显示英文标题

标题： SDMatte: Grafting Diffusion Models for Interactive Matting

摘要： 最近的交互式抠图方法在捕捉物体的主要区域方面表现出令人满意的效果，但在提取边缘区域的细粒度细节方面存在不足。 在数十亿张图像-文本对上训练的扩散模型，表现出在建模高度复杂的数据分布和合成真实纹理细节方面的卓越能力，同时表现出强大的文本驱动交互能力，使其成为交互式抠图的一种有吸引力的解决方案。 为此，我们提出了SDMatte，一种基于扩散的交互式抠图模型，具有三个关键贡献。 首先，我们利用扩散模型的强大先验知识，并将文本驱动的交互能力转化为视觉提示驱动的交互能力，以实现交互式抠图。 其次，我们将视觉提示的坐标嵌入和目标对象的不透明度嵌入整合到U-Net中，增强了SDMatte对空间位置信息和不透明度信息的敏感性。 第三，我们提出了一种掩码自注意力机制，使模型能够关注由视觉提示指定的区域，从而取得更好的性能。 在多个数据集上的大量实验证明了我们方法的优越性能，验证了其在交互式抠图中的有效性。 我们的代码和模型可在https://github.com/vivoCameraResearch/SDMatte获取。 显示英文摘要

摘要： Recent interactive matting methods have shown satisfactory performance in capturing the primary regions of objects, but they fall short in extracting fine-grained details in edge regions. Diffusion models trained on billions of image-text pairs, demonstrate exceptional capability in modeling highly complex data distributions and synthesizing realistic texture details, while exhibiting robust text-driven interaction capabilities, making them an attractive solution for interactive matting. To this end, we propose SDMatte, a diffusion-driven interactive matting model, with three key contributions. First, we exploit the powerful priors of diffusion models and transform the text-driven interaction capability into visual prompt-driven interaction capability to enable interactive matting. Second, we integrate coordinate embeddings of visual prompts and opacity embeddings of target objects into U-Net, enhancing SDMatte's sensitivity to spatial position information and opacity information. Third, we propose a masked self-attention mechanism that enables the model to focus on areas specified by visual prompts, leading to better performance. Extensive experiments on multiple datasets demonstrate the superior performance of our method, validating its effectiveness in interactive matting. Our code and model are available at https://github.com/vivoCameraResearch/SDMatte.