LMArena AI基准测试平台遭质疑:研究称其偏向OpenAI、谷歌与Meta
发布时间:2025-05-02 12:33:53 | 责任编辑:吴昊 | 浏览量:12 次
人工智能领域知名的公共基准测试平台LMArena近日遭遇信任危机。一项新的研究指出,该平台的排名系统存在偏袒OpenAI、谷歌和Meta等大型供应商的结构性问题,其不透明的流程和头部企业的固有优势可能导致排名失真。然而,LMArena运营团队已公开否认这些指控。
LMArena通过向用户展示不同大型语言模型(LLM)的回复对比,并由用户投票选出更优者,最终形成广泛被行业引用的模型性能排行榜。企业常借此展示自身模型的优越性。
但由Cohere Labs、普林斯顿大学和麻省理工学院的研究人员联合进行的一项分析,基于2024年1月至2025年4月期间收集的超过280万条模型比较记录,揭示了LMArena排名可能存在的偏差。研究人员认为,Meta、谷歌和OpenAI等公司能够私下测试其模型的多个版本,并仅选择性能最佳的版本公开展示在排行榜上,其余版本则被移除。这种被称为“分数游戏”的做法,使得最终发布的模型往往是经过精心挑选的“尖子生”。例如,Meta在发布Llama4之前至少测试了27个内部版本。Meta随后也承认,在用户批评后,他们部署了专门针对基准测试优化的Llama4聊天机器人,而其未经优化的“Maverick”模型在LMArena上的表现则逊色不少。受控实验也表明,提交多个几乎相同的模型变体可以显著提高得分。
此外,研究还指出用户数据的不平等分配进一步加剧了这种偏差。通过API接口,大型供应商能够收集用户与模型交互的数据,包括提示和偏好设置,但这些数据并未公平地共享。OpenAI和谷歌的模型获得了绝大多数的用户交互数据(占比高达61.4%),这使得它们能够利用更多的数据进行优化,甚至可能针对LMArena平台进行专门优化,从而提升排名,即使其在外部基准上的表现并非最优。
研究人员还发现,大量模型在未公开通知的情况下从LMArena平台移除,这对开源模型的影响尤为显著。在评估的243个模型中,有205个模型未经解释就被停用,只有47个模型被正式标记为弃用。这种缺乏透明度的模型移除机制,可能会扭曲排名的历史连贯性和参考价值。
针对上述研究结果,LMArena团队在X平台发布声明坚决否认,强调其排名“反映了数百万新鲜、真实的人类偏好”,并认为提交前的测试是合法手段,旨在确定最符合用户期望的模型变体。他们认为,利用测试数据优化模型以满足用户偏好是一件好事。LMArena团队还表示,排名的依据仅为最终公开发布的模型,而非内部测试结果,且平台的源代码和数百万用户交互数据均已公开,其设计理念是开放的。
尽管如此,研究人员仍呼吁LMArena进行改革,包括公开所有测试过的模型变体、限制供应商单次提交的版本数量、确保模型在用户之间更公平地分配,并对模型移除进行清晰记录。他们警告称,若缺乏更严格的监督,LMArena最终可能奖励的是针对排行榜的策略性优化,而非模型实际性能的提升。
Cohere 实验室负责人兼该研究合著者之一Sara Hooker强调了LMArena日益增长的影响力及其所要求的“科学诚信”。前特斯拉和OpenAI工程师Andrej Karpathy也对LMArena的可靠性表示怀疑,他注意到Gemini模型在榜单上“远高于第二名”,这与他个人使用体验不符,并指出一些规模较小、缺乏实际知识的“相对随机的模型”也常常出现在榜单前列,进一步引发了对排名真实性的质疑。
近期,AI基准测试平台LMArena因被指控偏袒OpenAI、谷歌和Meta等大型供应商而陷入争议。以下是相关情况的详细分析:
指控内容
-
“分数游戏”问题:一项由Cohere Labs、普林斯顿大学和麻省理工学院研究人员联合进行的分析指出,Meta、谷歌和OpenAI等公司能够在LMArena平台上私下测试其模型的多个版本,并仅选择性能最佳的版本公开展示在排行榜上,其余版本则被移除。例如,Meta在发布Llama4之前至少测试了27个内部版本,并在用户批评后,部署了专门针对基准测试优化的版本。这种做法被称为“分数游戏”,使得最终发布的模型往往是经过精心挑选的“尖子生”,导致排名失真。
-
用户数据分配不平等:研究还发现,通过API接口,大型供应商能够收集用户与模型交互的数据,包括提示和偏好设置,但这些数据并未公平地共享。其中,OpenAI和谷歌的模型获得了绝大多数的用户交互数据(占比高达61.4%),这使得它们能够利用更多的数据进行优化,甚至可能针对LMArena平台进行专门优化,从而提升排名,即使其在外部基准上的表现并非最优。
-
模型移除机制不透明:研究人员指出,大量模型在未公开通知的情况下从LMArena平台移除,这对开源模型的影响尤为显著。在评估的243个模型中,有205个模型未经解释就被停用,只有47个模型被正式标记为弃用。这种缺乏透明度的模型移除机制,可能会扭曲排名的历史连贯性和参考价值。
LMArena团队的回应
LMArena运营团队已公开否认上述指控,强调其排名“反映了数百万新鲜、真实的人类偏好”,并认为提交前的测试是合法手段,旨在确定最符合用户期望的模型变体。他们还表示,利用测试数据优化模型以满足用户偏好是一件好事,排名的依据仅为最终公开发布的模型,而非内部测试结果,且平台的源代码和数百万用户交互数据均已公开,其设计理念是开放的。
研究人员的呼吁
尽管LMArena团队否认了指控,但研究人员仍呼吁其进行改革,包括公开所有测试过的模型变体、限制供应商单次提交的版本数量、确保模型在用户之间更公平地分配,并对模型移除进行清晰记录。他们警告称,若缺乏更严格的监督,LMArena最终可能奖励的是针对排行榜的策略性优化,而非模型实际性能的提升。
行业影响与反思
-
对行业竞争格局的影响:如果LMArena的排名系统确实存在偏袒,那么这将对AI行业的竞争格局产生重大影响。大型供应商可能会利用这种优势进一步巩固其市场地位,而小型企业和开源社区则可能处于劣势,难以在排行榜上获得公平的展示机会。
-
对AI模型评估的反思:此次争议也引发了对AI模型评估方式的反思。单纯依赖用户投票和排行榜的评估方式可能存在漏洞,需要更加科学、透明和全面的评估机制。同时,也需要加强对AI基准测试平台的监管,确保其公正性和客观性。
综上所述,LMArena平台的争议凸显了AI行业在基准测试和评估方面面临的挑战,同时也提醒行业从业者和监管机构需要更加关注评估机制的公平性和透明度,以推动AI行业的健康发展。
本网站(https://aigc.izzi.cn)刊载的所有内容,包括文字、图片、音频、视频等均在网上搜集。
访问者可将本网站提供的内容或服务用于个人学习、研究或欣赏,以及其他非商业性或非盈利性用途,但同时应遵守著作权法及其他相关法律的规定,不得侵犯本网站及相关权利人的合法权利。除此以外,将本网站任何内容或服务用于其他用途时,须征得本网站及相关权利人的书面许可,并支付报酬。
本网站内容原作者如不愿意在本网站刊登内容,请及时通知本站,予以删除。