聆听科学家们的见解！SciArena 现已发布，全面评估大语言模型在科学领域的表现
发布时间：2025-07-03 11:41:40 | 责任编辑：吴昊 | 浏览量：92 次
一个名为 SciArena 的全新开放平台现已上线，旨在通过人类偏好评估大型语言模型（LLM）在科学文献任务中的表现。早期结果已揭示不同模型之间存在显著的性能差距。
SciArena 由耶鲁大学、纽约大学和艾伦人工智能研究所的研究人员共同开发，旨在系统性评估专有和开源 LLM 处理科学文献任务的效果，填补了该领域系统性评估的空白。
与传统基准测试不同，SciArena 效仿 Chatbot Arena 的方法，依靠真实研究人员进行评估。用户提交科学问题后，会收到两个由模型生成并引用的长格式答案，随后用户判断哪个答案更优。相关文献通过定制的 ScholarQA 检索流程获取。
迄今为止，该平台已收集了来自自然科学、工程学、生命科学和社会科学领域102位研究人员的13，000多份评估，问题涵盖概念解释和文献检索等多个方面。
在目前的排行榜上，OpenAI 的 o3模型位居榜首，领先于 Claude-4-Opus 和 Gemini-2.5-Pro。在开源模型中，Deepseek-R1-0528脱颖而出，其性能甚至超越了多个专有系统。研究小组指出，o3在自然科学和工程科学领域表现尤为出色。研究人员还发现，用户在评估时最关注的是引用是否与陈述正确匹配，而非仅仅引用数量。答案长度等因素对 SciArena 的影响小于对 Chatbot Arena 或 Search Arena 等平台的影响。
尽管取得了这些进展，自动化评估仍然是一个挑战。该团队还推出了一项新的基准测试 SciArena-Eval，用于测试语言模型判断其他模型答案的能力。然而，即使是表现最佳的模型，也只有约65% 的时间能与人类偏好保持一致，这凸显了当前 LLM-as-a-Judge 系统在科学领域的局限性。
SciArena 面向公众开放，其代码、数据和 SciArena-Eval 基准测试均以开源形式提供。该平台的目标是支持开发更贴近人类在科学信息任务中需求的模型。未来，SciArena 计划增加对基于代理的研究系统的评估功能。
以下是关于SciArena平台上线及多维度评测大语言模型科学表现的相关情况：
平台简介
SciArena是一个全新开放平台，由美国华盛顿州的非营利性研究机构艾伦人工智能研究所（AI2）发布。该平台旨在通过人类偏好评估大型语言模型（LLM）在科学文献任务中的表现，为科学文献任务而生。
评测方式
-
人类出题，AI写小论文，专家当评委：在SciArena平台上，由人类提出问题，AI模型根据这些问题生成小论文，然后由专家对这些论文进行评审和打分。
-
多维度评估：平台从多个维度对大语言模型进行评估，包括科学性、准确性、逻辑性、信息丰富度、语言流畅性、引用质量等。
-
元评估基准：SciArena还包含了元评估基准，即让AI模型自己来判断哪个答案更好，以此来评估模型自身在预测人类偏好上的能力。
评测结果
-
模型表现差异：不同模型在不同科学领域表现各有不同。例如，OpenAI的“o3”模型在多个科学领域表现最好，尤其在引用科学论文方面解释详细，在工程学科方面答案更专业、技术化；Claude-4-Opus在医疗健康领域表现出色；DeepSeek-R1-0528在自然科学领域表现突出。
-
模型自我评估能力有限：即使是表现最优的o3模型，在预测人类偏好上的准确率（人机一致性）也仅为65.1%，低于通用领域的AI模型在AlpacaEval和WildChat等比赛中的自我评估准确率。
平台意义
-
为科研人员提供参考：SciArena平台为科研人员提供了一个评估和比较不同大语言模型在科学文献任务中表现的工具，帮助他们更好地选择和应用这些模型。
-
推动AI模型发展：通过多维度的评测，平台能够发现大语言模型在科学领域应用中的优势和不足，从而为模型的改进和发展提供方向。
-
促进AI与科学研究的结合：该平台的上线有助于促进人工智能与科学研究的深度融合，推动AI技术在科学领域的应用和创新。
平台未来展望
SciArena平台会不断加入新的模型，持续评估最新的AI技术，确保这个“比武大会”能够跟上AI发展的步伐。
本网站(https://aigc.izzi.cn)刊载的所有内容，包括文字、图片、音频、视频等均在网上搜集。
访问者可将本网站提供的内容或服务用于个人学习、研究或欣赏，以及其他非商业性或非盈利性用途，但同时应遵守著作权法及其他相关法律的规定，不得侵犯本网站及相关权利人的合法权利。除此以外，将本网站任何内容或服务用于其他用途时，须征得本网站及相关权利人的书面许可，并支付报酬。
本网站内容原作者如不愿意在本网站刊登内容，请及时通知本站，予以删除。
