AGI-Eval 官网

AGI-Eval 图文介绍：

AGI-Eval 评测社区由美团、上海交通大学、同济大学、华东师范大学、Datawhale 等机构联合共建，致力于构建公开、权威、可复现的大模型评测体系。平台通过标准化评测流程与多维度数据集，为行业提供客观、透明的模型能力排名与洞察。

主要功能

• 模型榜单：发布综合评测及各能力项排名，定期更新，数据公开透明。

• 人机协同评测：支持用户与大模型协作完成评测任务，探索下一代评测方案。

• 多维度评测数据集：提供 OlympicArena（奥林匹克级跨学科）、RM-Bench（奖励模型鲁棒性）、UGMathBench（本科数学推理）等公开学术评测集。

• 数据贡献与下载：用户可上传专业领域数据，平台提供单条、扩写、Arena 等多种数据格式供评测使用。

应用场景

• 模型选型：企业/开发者通过榜单快速对比模型能力，降低选型成本。

• 模型迭代：研发人员利用评测集定位模型短板，指导模型优化。

• 学术研究：高校与研究机构使用公开数据集进行模型创新实验。

• 行业基准：为 AI 产业建立统一、可复现的评测标准，推动技术标准化。

是否收费

榜单浏览、评测集下载及基础评测功能完全免费；部分高级定制评测服务（如企业专属模型评估）可能收取费用。

平台兼容性

• Web 端全功能访问，适配主流浏览器。

• 提供 API 接口，方便企业或开发者集成评测能力至自有系统。

• 支持主流大模型接入（OpenAI、通义千问、文心一言等），兼容主流深度学习框架（PyTorch、TensorFlow）。

AGI-Eval 以“评测助力，让 AI 成为你更好的伙伴”为使命，通过权威榜单、开放数据集与人机协同评测，成为大模型生态中不可或缺的“能力标尺”。无论是企业选型、模型迭代还是学术研究，AGI-Eval 都能提供客观、可信赖的评测支持，推动 AI 产业向更高质量、更可持续的方向发展。