计算机科学 > 图形学
[提交于 2025年6月23日
]
标题: 你所想即你所得:通过多模态大语言模型连接用户意图与传输函数设计
标题: What You Think Is What You Get: Bridge User Intent and Transfer Function Design through Multimodal Large Language Models
摘要: 直接体积渲染(DVR)是可视化体积数据的基本技术,传递函数(TFs)在提取有意义的结构中起着关键作用。 然而,由于用户意图与TF参数空间之间的语义差距,设计有效的TF仍然不直观。 研究人员已经开发了许多TF优化方法来弥合这一差距。 然而,现有方法仍然面临两个挑战:探索空间大和泛化能力弱。 为了解决这些问题,我们提出了 What You Think is What You Get(WYTWYG)框架,该框架利用多模型大语言模型(MLLMs)根据用户意图引导TF优化。 具体来说,我们首先介绍了一种新的TF优化方法,包含两个核心组件:(1)基于进化的方法用于有效探索TF空间,(2)基于MLLMs的体积渲染质量评估器,以提供可泛化的视觉指导。 我们进一步提出了一种基于该方法的TF交互设计系统。 我们通过三个案例研究展示了我们框架的通用适用性,并通过大量实验验证了每个组件的有效性。 我们的代码可在以下地址获取:https://github.com/wyysteelhead/TFevolve。
文献和引用工具
与本文相关的代码,数据和媒体
alphaXiv (什么是 alphaXiv?)
CatalyzeX 代码查找器 (什么是 CatalyzeX?)
DagsHub (什么是 DagsHub?)
Gotit.pub (什么是 GotitPub?)
Hugging Face (什么是 Huggingface?)
带有代码的论文 (什么是带有代码的论文?)
ScienceCast (什么是 ScienceCast?)
演示
推荐器和搜索工具
arXivLabs:与社区合作伙伴的实验项目
arXivLabs 是一个框架,允许合作伙伴直接在我们的网站上开发和分享新的 arXiv 特性。
与 arXivLabs 合作的个人和组织都接受了我们的价值观,即开放、社区、卓越和用户数据隐私。arXiv 承诺这些价值观,并且只与遵守这些价值观的合作伙伴合作。
有一个为 arXiv 社区增加价值的项目想法吗? 了解更多关于 arXivLabs 的信息.