计算机科学 > 人工智能
[提交于 2025年8月5日
(v1)
,最后修订 2025年8月18日 (此版本, v3)]
标题: 游戏推理竞技场:通过游戏玩法评估大型语言模型推理能力的框架和基准
标题: Game Reasoning Arena: A Framework and Benchmark for Assessing Reasoning Capabilities of Large Language Models via Game Play
摘要: 该游戏推理竞技场库提供了一个框架,通过在Google OpenSpiel库中实现的战略棋盘游戏来评估大型语言模型(LLMs)的决策能力。 该框架通过包装多种棋盘和矩阵游戏并支持不同的代理类型,实现了基于LLM的代理与其他代理(随机、启发式、强化学习代理等)在各种游戏场景中的系统比较。 它通过liteLLM集成模型的API访问,通过vLLM实现本地模型部署,并通过Ray提供分布式执行。 本文总结了该库的结构、关键特性以及仓库的动机,强调了它如何促进对LLM推理和博弈论行为的经验评估。
文献和引用工具
与本文相关的代码,数据和媒体
alphaXiv (什么是 alphaXiv?)
CatalyzeX 代码查找器 (什么是 CatalyzeX?)
DagsHub (什么是 DagsHub?)
Gotit.pub (什么是 GotitPub?)
Hugging Face (什么是 Huggingface?)
带有代码的论文 (什么是带有代码的论文?)
ScienceCast (什么是 ScienceCast?)
演示
推荐器和搜索工具
arXivLabs:与社区合作伙伴的实验项目
arXivLabs 是一个框架,允许合作伙伴直接在我们的网站上开发和分享新的 arXiv 特性。
与 arXivLabs 合作的个人和组织都接受了我们的价值观,即开放、社区、卓越和用户数据隐私。arXiv 承诺这些价值观,并且只与遵守这些价值观的合作伙伴合作。
有一个为 arXiv 社区增加价值的项目想法吗? 了解更多关于 arXivLabs 的信息.