标题： UMBRELA在其他LLM上有效吗？ 显示英文标题

标题： Does UMBRELA Work on Other LLMs?

摘要： 我们跨一系列大型语言模型（LLMs）复现了UMBRELA LLM Judge评估框架，以评估其在原始研究之外的泛化能力。 我们的研究评估了LLM选择如何影响相关性评估的准确性，重点关注排行榜排名相关性和每标签一致性度量指标。 结果表明，使用DeepSeek V3的UMBRELA性能与GPT-4o（在原始工作中使用）非常接近。 对于LLaMA-3.3-70B，我们获得的性能稍低，而随着LLM规模变小，性能进一步下降。 显示英文摘要

摘要： We reproduce the UMBRELA LLM Judge evaluation framework across a range of large language models (LLMs) to assess its generalizability beyond the original study. Our investigation evaluates how LLM choice affects relevance assessment accuracy, focusing on leaderboard rank correlation and per-label agreement metrics. Results demonstrate that UMBRELA with DeepSeek V3 obtains very comparable performance to GPT-4o (used in original work). For LLaMA-3.3-70B we obtain slightly lower performance, which further degrades with smaller LLMs.