谷歌发布LMEval：一种新的统一工具，用于评估大语言和多模态模型性能

谷歌于2025年5月26日宣布推出LMEval，这是一个开源框架，旨在简化和标准化对大型语言和多模态模型的评估。以下是关于LMEval的详细介绍：

核心功能

• 统一评估流程：为研究人员和开发者提供了一个统一的评估流程，可以方便地对来自不同公司的AI模型进行比较，如GPT-4o、Claude3.7Sonnet、Gemini2.0Flash和Llama-3.1-405B等。

• 多模态评估支持：不仅支持文本评估，还扩展到了图像和代码的评估，用户可以轻松添加新的输入格式。

• 多种评估类型：系统能够处理多种评估类型，包括是非题、多选题和自由文本生成。

• 识别“推脱策略”：能够识别模型故意给出模棱两可的答案以避免生成有问题或风险内容的情况。

• 跨平台兼容性：在LiteLLM框架上运行，能够平滑处理谷歌、OpenAI、Anthropic、Ollama和Hugging Face等不同提供商的API差异，相同的测试可以在多个平台上运行，而无需重新编写代码。

• 增量评估：用户无需每次都重新运行整个测试套件，而只需执行新增的测试，节省了时间，也降低了计算成本。

• 多线程引擎：使用多线程引擎加快计算速度，能够并行运行多个计算。

• 可视化工具：提供了一个名为LMEvalboard的可视化工具，用户可以利用该仪表板分析测试结果，通过生成雷达图查看模型在不同类别上的表现，并深入探讨个别模型的表现，还支持模型间的比较，包括在特定问题上的并排图形显示。

其他特点

• 安全、可扩展的存储：测试结果存储在自加密的SQLite数据库中，既保证了安全性，又便于访问。

• 易于使用：用户友好，GitHub仓库中提供了示例笔记本，运行不同模型版本的评估只需几行代码。

安装与使用

• 安装：可以通过pip install lmeval-framework命令进行安装。

• 开发环境搭建：需要安装uv工具，并通过uv venv等命令设置虚拟环境。

适用场景

• 模型比较：方便研究人员和开发者对不同提供商的AI模型进行比较和评估。

• 模型优化：通过标准化的评估流程，帮助优化模型性能。

• 安全性分析：识别模型的“推脱策略”，有助于分析模型的安全性。

LMEval的源代码和示例笔记本已经在GitHub上公开，供广大开发者使用和研究。