SolidGeo 基准促进 AI 突破空间逻辑难关，立体几何成大型模型的关键障碍！

立体几何是数学中的一个重要分支，对于多模态大语言模型（MLLMs）的空间推理能力评估具有重要意义。然而，现有的多模态数学基准测试大多集中在平面几何上，而立体几何因其需要空间推理而更具挑战性，且在以往的基准测试中被严重忽视。

SolidGeo 基准的出现

SolidGeo 是第一个大规模基准测试，专门用于评估 MLLMs 在立体几何数学推理任务中的表现。它包含 3113 个来自真实世界 K–12 和竞赛级别的问题，每个问题都配有视觉上下文，并标注了难度级别和细粒度的立体几何类别。该基准涵盖了广泛的空间推理主题，如投影、展开、空间测量和空间向量等，为评估立体几何能力提供了一个严格的测试平台。

SolidGeo 的特点

• 细粒度分类：SolidGeo 提供了首个细粒度的立体几何问题分类，将所有问题分为八个基于推理的子类别。这种分类捕捉了空间智能的核心方面，使得对模型能力的评估更加结构化。

• 真实世界问题：SolidGeo 中的所有问题和图像都来自真实场景，问题表述自然且多样化。其平均问题长度为 77.2，远高于其他基准测试，如 MathVista（15.6）和 MathVision（42.3），提供了更丰富的上下文信息，也带来了更大的挑战。

• 难度级别：每个问题都被标记了 1 到 3 的难度级别，由领域专家验证。这使得对模型的分析更加细致，有助于识别推理瓶颈。

实验结果与分析

• 模型表现：在对 27 个 MLLMs 的评估中，OpenAI-o1 表现最佳，准确率为 49.5%，但仍远低于人类水平。开源模型 Llama4 表现不俗，准确率为 29.6%，超过了 GPT-4o，仅次于 Claude-3.7-Sonnet。

• 不同主题的表现：模型在需要复杂空间推理的任务上表现不佳，如平面展开与配置（PUC）、多视图投影（MVP）和 3D 坐标与向量推理（3DCV）。即使是表现最好的 OpenAI-o1，在 PUC 上的准确率也只有 36.1%，在 MVP 上为 43.0%。

• 难度级别与问题类型：随着任务难度的增加，大多数模型的准确率明显下降。例如，InternVL3-78B 在难度级别 1 上的准确率为 42.2%，但在难度级别 3 上降至 6.2%。在问题类型方面，大多数模型在多项选择题上的表现更好，但 Gemini-2.5-pro 和 OpenAI-o1 在单步问题上得分最高。

• 模型推理效率：系统 2 模型通常比系统 1 模型生成更长的输出，这虽然可能提高准确性，但会降低推理效率。此外，随着问题难度的增加，模型生成的输出长度也会增加，表明更复杂的任务需要更长的推理链。然而，模型在生成错误答案时往往消耗更多的标记，而没有准确性提升，这表明过度推理并不能带来更好的结果。

SolidGeo 的意义与未来方向

SolidGeo 的出现为推动 MLLMs 在空间推理能力上的进步提供了重要的基础。它不仅揭示了当前 MLLMs 在立体几何任务上的局限性，还为未来的研究提供了方向，包括改进训练策略、提高数据质量和架构创新。未来的工作可能会探索为立体几何设计一个正式的表示框架，以进一步促进精确建模和程序化评估。