标题： AI代理能理解在线会议中关于数据可视化的口头对话吗？ 显示英文标题

标题： Can AI agents understand spoken conversations about data visualizations in online meetings?

摘要： 在本文中，我们介绍了对人工智能代理在在线会议场景中理解关于数据可视化的口头对话的评估工作。 人们对开发支持会议的人工智能助手的兴趣日益增长，例如通过提供任务协助或总结讨论。 这种支持的质量取决于能够理解对话的模型。 为了评估这种理解，我们引入了一个双轴测试框架，用于诊断人工智能代理对关于数据的口头对话的理解能力。 使用这个框架，我们设计了一系列测试，以评估对72个关于数据可视化的新型口头对话语料库的理解情况。 我们研究了不同的处理流程和模型架构，大型语言模型（LLM）与视觉语言模型（VLM），以及不同的可视化输入格式（图表图像、其底层源代码或两者的混合）以观察这如何影响模型在我们的测试中的表现。 使用我们的评估方法，我们发现仅文本输入模式在理解在线会议中的可视化讨论方面表现最佳（96%）。 显示英文摘要

摘要： In this short paper, we present work evaluating an AI agent's understanding of spoken conversations about data visualizations in an online meeting scenario. There is growing interest in the development of AI-assistants that support meetings, such as by providing assistance with tasks or summarizing a discussion. The quality of this support depends on a model that understands the conversational dialogue. To evaluate this understanding, we introduce a dual-axis testing framework for diagnosing the AI agent's comprehension of spoken conversations about data. Using this framework, we designed a series of tests to evaluate understanding of a novel corpus of 72 spoken conversational dialogues about data visualizations. We examine diverse pipelines and model architectures, LLM vs VLM, and diverse input formats for visualizations (the chart image, its underlying source code, or a hybrid of both) to see how this affects model performance on our tests. Using our evaluation methods, we found that text-only input modalities achieved the best performance (96%) in understanding discussions of visualizations in online meetings.