电气工程与系统科学 > 图像与视频处理
[提交于 2025年7月21日
(v1)
,最后修订 2025年7月24日 (此版本, v4)]
标题: EndoControlMag:具有周期性参考重置和分层组织感知双掩码控制的鲁棒内窥镜血管运动放大
标题: EndoControlMag: Robust Endoscopic Vascular Motion Magnification with Periodic Reference Resetting and Hierarchical Tissue-aware Dual-Mask Control
摘要: 在内窥镜手术中可视化细微的血管运动对于手术精度和决策至关重要,但由于手术场景的复杂性和动态性,这仍然具有挑战性。 为了解决这个问题,我们引入了EndoControlMag,这是一种无需训练的基于拉格朗日框架的方法,具有基于掩码的血管运动放大功能,专门针对内窥镜环境设计。 我们的方法包含两个关键模块:一种周期性参考重置(PRR)方案,将视频分成带有动态更新参考帧的短重叠片段,以防止误差累积同时保持时间一致性,以及一种具有双模式掩码膨胀的分层组织感知放大(HTM)框架。 HTM首先使用预训练的视觉跟踪模型跟踪血管核心,以在遮挡和视角变化的情况下保持准确的定位。 然后对周围组织应用两种自适应软化策略中的一种:基于运动的软化,其放大强度与观察到的组织位移成比例;或者基于距离的指数衰减,模拟生物力学力的衰减。 这种双模式方法适应多种手术场景——基于运动的软化在复杂的组织变形中表现出色,而基于距离的软化在不可靠的光流条件下提供稳定性。 我们在涵盖四种不同手术类型的EndoVMM24数据集上评估了EndoControlMag,包括各种具有挑战性的场景,如遮挡、器械干扰、视角变化和血管变形。 定量指标、视觉评估和专家外科医生评价表明,EndoControlMag在放大精度和视觉质量方面显著优于现有方法,同时在具有挑战性的手术条件下保持鲁棒性。 代码、数据集和视频结果可在https://szupc.github.io/EndoControlMag/ 获取。
文献和引用工具
与本文相关的代码,数据和媒体
alphaXiv (什么是 alphaXiv?)
CatalyzeX 代码查找器 (什么是 CatalyzeX?)
DagsHub (什么是 DagsHub?)
Gotit.pub (什么是 GotitPub?)
Hugging Face (什么是 Huggingface?)
带有代码的论文 (什么是带有代码的论文?)
ScienceCast (什么是 ScienceCast?)
演示
推荐器和搜索工具
arXivLabs:与社区合作伙伴的实验项目
arXivLabs 是一个框架,允许合作伙伴直接在我们的网站上开发和分享新的 arXiv 特性。
与 arXivLabs 合作的个人和组织都接受了我们的价值观,即开放、社区、卓越和用户数据隐私。arXiv 承诺这些价值观,并且只与遵守这些价值观的合作伙伴合作。
有一个为 arXiv 社区增加价值的项目想法吗? 了解更多关于 arXivLabs 的信息.