重新定义AI测试标准！GPT-5等尖端模型竟得零分，高层次思维能力究竟如何？

近期，由研究机构 AAI 推出的全新 AI 评测基准 FormulaOne，对当前最前沿的 AI 模型提出了前所未有的挑战，结果令人震惊：GPT-5、o3 Pro、Gemini 2.5 Pro、Grok 4 等模型在该基准测试中 集体得零分。

FormulaOne 基准测试：博士级推理的试金石

FormulaOne 基准测试包含 220 个新颖的图结构动态规划问题，题目难度从中等跨越至科研级别，涵盖了拓扑、几何、组合问题等高难度领域。这些问题虽然表述看似自然，但其解决方案却极为复杂，需要极高的逻辑推理与动态规划能力，堪称博士级挑战。

具体而言，这些问题依赖于 Courcelle 提出的算法元定理，要求模型使用一种称为 树分解（tree decomposition） 的结构，将图的顶点组织成一系列重叠的集合（即“袋”），并以树状结构排列。随后，模型需通过动态规划逐步解决问题，这一过程涉及设计复杂的“状态”，并定义状态的转换规则。

AI 模型的实际表现：从“尚可”到“集体崩溃”

• 浅层难度问题：GPT-5 等模型表现尚可，成功率约为 50%-70%，表明它们对这类问题有一定理解。

• 深层难度问题：模型表现急剧下降，GPT-5 Pro 仅解决了 4% 的问题，Grok 4、Gemini 2.5 Pro 等模型甚至只能解决 1%。

• 更深层难度问题：所有模型 集体崩溃，得分为 零。

这一结果引发了科研界的广泛讨论，甚至有网友建议让人类博士生也参与评估，以对比 AI 与人类在博士级推理能力上的真实差距。

反思：博士级推理能力究竟几何？

尽管此前谷歌、OpenAI 的模型在数学奥林匹克（IMO）水平测试中达到了金牌水准，令人误以为 LLM 已具备博士级科研推理能力，但 FormulaOne 基准测试的结果表明，现实可能并不如想象中乐观。

这一评测结果也引发了业界对 AI 模型真实能力的深刻反思：当前前沿 AI 模型在特定领域（如数学竞赛、编程任务）表现突出，但在面对真正复杂、新颖的科研级问题时，仍存在明显局限。

综上所述，尽管 AI 技术发展迅速，但距离真正的“博士级”推理能力，仍有相当长的路要走。