Skip to main content
CenXiv.org
此网站处于试运行阶段,支持我们!
我们衷心感谢所有贡献者的支持。
贡献
赞助
cenxiv logo > eess > arXiv:2507.15292v4

帮助 | 高级搜索

电气工程与系统科学 > 图像与视频处理

arXiv:2507.15292v4 (eess)
[提交于 2025年7月21日 (v1) ,最后修订 2025年7月24日 (此版本, v4)]

标题: EndoControlMag:具有周期性参考重置和分层组织感知双掩码控制的鲁棒内窥镜血管运动放大

标题: EndoControlMag: Robust Endoscopic Vascular Motion Magnification with Periodic Reference Resetting and Hierarchical Tissue-aware Dual-Mask Control

Authors:An Wang, Rulin Zhou, Mengya Xu, Yiru Ye, Longfei Gou, Yiting Chang, Hao Chen, Chwee Ming Lim, Jiankun Wang, Hongliang Ren
摘要: 在内窥镜手术中可视化细微的血管运动对于手术精度和决策至关重要,但由于手术场景的复杂性和动态性,这仍然具有挑战性。 为了解决这个问题,我们引入了EndoControlMag,这是一种无需训练的基于拉格朗日框架的方法,具有基于掩码的血管运动放大功能,专门针对内窥镜环境设计。 我们的方法包含两个关键模块:一种周期性参考重置(PRR)方案,将视频分成带有动态更新参考帧的短重叠片段,以防止误差累积同时保持时间一致性,以及一种具有双模式掩码膨胀的分层组织感知放大(HTM)框架。 HTM首先使用预训练的视觉跟踪模型跟踪血管核心,以在遮挡和视角变化的情况下保持准确的定位。 然后对周围组织应用两种自适应软化策略中的一种:基于运动的软化,其放大强度与观察到的组织位移成比例;或者基于距离的指数衰减,模拟生物力学力的衰减。 这种双模式方法适应多种手术场景——基于运动的软化在复杂的组织变形中表现出色,而基于距离的软化在不可靠的光流条件下提供稳定性。 我们在涵盖四种不同手术类型的EndoVMM24数据集上评估了EndoControlMag,包括各种具有挑战性的场景,如遮挡、器械干扰、视角变化和血管变形。 定量指标、视觉评估和专家外科医生评价表明,EndoControlMag在放大精度和视觉质量方面显著优于现有方法,同时在具有挑战性的手术条件下保持鲁棒性。 代码、数据集和视频结果可在https://szupc.github.io/EndoControlMag/ 获取。
摘要: Visualizing subtle vascular motions in endoscopic surgery is crucial for surgical precision and decision-making, yet remains challenging due to the complex and dynamic nature of surgical scenes. To address this, we introduce EndoControlMag, a training-free, Lagrangian-based framework with mask-conditioned vascular motion magnification tailored to endoscopic environments. Our approach features two key modules: a Periodic Reference Resetting (PRR) scheme that divides videos into short overlapping clips with dynamically updated reference frames to prevent error accumulation while maintaining temporal coherence, and a Hierarchical Tissue-aware Magnification (HTM) framework with dual-mode mask dilation. HTM first tracks vessel cores using a pretrained visual tracking model to maintain accurate localization despite occlusions and view changes. It then applies one of two adaptive softening strategies to surrounding tissues: motion-based softening that modulates magnification strength proportional to observed tissue displacement, or distance-based exponential decay that simulates biomechanical force attenuation. This dual-mode approach accommodates diverse surgical scenarios-motion-based softening excels with complex tissue deformations while distance-based softening provides stability during unreliable optical flow conditions. We evaluate EndoControlMag on our EndoVMM24 dataset spanning four different surgery types and various challenging scenarios, including occlusions, instrument disturbance, view changes, and vessel deformations. Quantitative metrics, visual assessments, and expert surgeon evaluations demonstrate that EndoControlMag significantly outperforms existing methods in both magnification accuracy and visual quality while maintaining robustness across challenging surgical conditions. The code, dataset, and video results are available at https://szupc.github.io/EndoControlMag/.
主题: 图像与视频处理 (eess.IV) ; 人工智能 (cs.AI); 计算机视觉与模式识别 (cs.CV)
引用方式: arXiv:2507.15292 [eess.IV]
  (或者 arXiv:2507.15292v4 [eess.IV] 对于此版本)
  https://doi.org/10.48550/arXiv.2507.15292
通过 DataCite 发表的 arXiv DOI

提交历史

来自: Rulin Zhou [查看电子邮件]
[v1] 星期一, 2025 年 7 月 21 日 06:47:44 UTC (1,683 KB)
[v2] 星期二, 2025 年 7 月 22 日 05:11:23 UTC (1,672 KB)
[v3] 星期三, 2025 年 7 月 23 日 12:04:57 UTC (1,677 KB)
[v4] 星期四, 2025 年 7 月 24 日 13:26:19 UTC (1,677 KB)
全文链接:

获取论文:

    查看标题为《》的 PDF
  • 查看中文 PDF
  • 查看 PDF
  • HTML(实验性)
  • TeX 源代码
  • 其他格式
许可图标 查看许可
当前浏览上下文:
eess.IV
< 上一篇   |   下一篇 >
新的 | 最近的 | 2025-07
切换浏览方式为:
cs
cs.AI
cs.CV
eess

参考文献与引用

  • NASA ADS
  • 谷歌学术搜索
  • 语义学者
a 导出 BibTeX 引用 加载中...

BibTeX 格式的引用

×
数据由提供:

收藏

BibSonomy logo Reddit logo

文献和引用工具

文献资源探索 (什么是资源探索?)
连接的论文 (什么是连接的论文?)
Litmaps (什么是 Litmaps?)
scite 智能引用 (什么是智能引用?)

与本文相关的代码,数据和媒体

alphaXiv (什么是 alphaXiv?)
CatalyzeX 代码查找器 (什么是 CatalyzeX?)
DagsHub (什么是 DagsHub?)
Gotit.pub (什么是 GotitPub?)
Hugging Face (什么是 Huggingface?)
带有代码的论文 (什么是带有代码的论文?)
ScienceCast (什么是 ScienceCast?)

演示

复制 (什么是复制?)
Hugging Face Spaces (什么是 Spaces?)
TXYZ.AI (什么是 TXYZ.AI?)

推荐器和搜索工具

影响之花 (什么是影响之花?)
核心推荐器 (什么是核心?)
IArxiv 推荐器 (什么是 IArxiv?)
  • 作者
  • 地点
  • 机构
  • 主题

arXivLabs:与社区合作伙伴的实验项目

arXivLabs 是一个框架,允许合作伙伴直接在我们的网站上开发和分享新的 arXiv 特性。

与 arXivLabs 合作的个人和组织都接受了我们的价值观,即开放、社区、卓越和用户数据隐私。arXiv 承诺这些价值观,并且只与遵守这些价值观的合作伙伴合作。

有一个为 arXiv 社区增加价值的项目想法吗? 了解更多关于 arXivLabs 的信息.

这篇论文的哪些作者是支持者? | 禁用 MathJax (什么是 MathJax?)
  • 关于
  • 帮助
  • contact arXivClick here to contact arXiv 联系
  • 订阅 arXiv 邮件列表点击这里订阅 订阅
  • 版权
  • 隐私政策
  • 网络无障碍帮助
  • arXiv 运营状态
    通过...获取状态通知 email 或者 slack

京ICP备2025123034号