电气工程与系统科学 > 图像与视频处理
[提交于 2025年5月3日
]
标题: 通过短长时记忆SAM加速体积医学图像标注
标题: Accelerating Volumetric Medical Image Annotation via Short-Long Memory SAM 2
摘要: 对磁共振成像(MRI)和计算机断层扫描(CT)等体积医学图像的手动标注是一项劳动密集且耗时的过程。视频对象分割基础模型的最新进展,例如Segment Anything Model 2(SAM 2),提供了一个潜在的机会,通过手动标注一个或几个切片,然后在整个体积内传播目标掩码,从而显著加快标注过程。然而,在这种情况下,SAM 2的表现存在差异。我们的实验表明,依赖单一记忆库和注意力模块容易导致错误传播,尤其是在目标在前一个切片中存在但在当前切片中不存在的边界区域。为了解决这个问题,我们提出了Short-Long Memory SAM 2(SLM-SAM 2),这是一种新颖的架构,集成了不同的短期和长期记忆库以及独立的注意力模块以提高分割准确性。我们在涵盖MRI和CT模态下器官、骨骼和肌肉的三个公开数据集上评估了SLM-SAM 2。我们展示了所提出的方法明显优于默认的SAM 2,在初始适应时分别有5个体积和1个体积可用的情况下,平均Dice相似系数分别提高了0.14和0.11。SLM-SAM 2还表现出更强的抗过传播能力,朝着更准确的医学图像自动标注迈出了重要一步,用于分割模型开发。
文献和引用工具
与本文相关的代码,数据和媒体
alphaXiv (什么是 alphaXiv?)
CatalyzeX 代码查找器 (什么是 CatalyzeX?)
DagsHub (什么是 DagsHub?)
Gotit.pub (什么是 GotitPub?)
Hugging Face (什么是 Huggingface?)
带有代码的论文 (什么是带有代码的论文?)
ScienceCast (什么是 ScienceCast?)
演示
推荐器和搜索工具
arXivLabs:与社区合作伙伴的实验项目
arXivLabs 是一个框架,允许合作伙伴直接在我们的网站上开发和分享新的 arXiv 特性。
与 arXivLabs 合作的个人和组织都接受了我们的价值观,即开放、社区、卓越和用户数据隐私。arXiv 承诺这些价值观,并且只与遵守这些价值观的合作伙伴合作。
有一个为 arXiv 社区增加价值的项目想法吗? 了解更多关于 arXivLabs 的信息.