当每个模型都得分88%：基准测试饱和为何破坏了AI评估
一个没人想承认的问题
前沿模型现在在MMLU上得分88%，接近人类专家天花板的预估值89.8%。这是企业AI采购部门已经悄悄遇到的饱和信号：一堆模型的测试成绩几乎完全相同，这些成绩据说无法告诉你哪一个在你的生产环境中真正有效。
讽刺之处残酷无比。MMLU推出时，GPT-3 175B得分43.9%；到2024年，前沿模型已经达到88%。这个差距代表真实的进步。但一旦标题数字达到人类天花板，基准测试就停止了测量任何新东西。在专家人类天花板为89.8%的测试中，你无法区分90%的模型和88%的模型。
这种级联效应已经在各个方向上可见。前沿模型已经在MMLU上饱和，得分超过88%，而GPT-5.3 Codex现在得分93%，这意味着MMLU得分不再能区分领先模型。到2024年，GPT-4o、Claude 3.5和Gemini 1.5在GSM8K上都超过90%；今天，GPT-5.3 Codex得分99%。而GPQA Diamond（研究生级科学基准）对于前沿模型的得分为94.3%，而MATH-500的得分为96%，正在接近同样使GSM8K和MMLU变成信息无用的天花板。
对于评估基础模型的CTO和产品负责人来说，这造成了一个真实的问题：排行榜数字已经成为营销戏剧。
基准测试崩溃的经济现实
以下是饱和给你的组织造成的成本。当每个前沿模型在标准测试中都聚集在88–94%范围内时，你失去了主要的决策信号。仅依靠发布的基准测试成绩意味着你要相信公开测试集分布与你的生产工作负载匹配、污染没有夸大你要比较的成绩、且基准测试没有饱和到成绩差异只是噪音的程度——而对于大多数企业应用，这些假设都不成立。
实验室和生产之间的差距令人瞠目。企业智能体AI系统在实验室基准测试成绩和真实部署性能之间显示37%的差距，相同精度下成本变化高达50倍。一个在排行榜上表现出色的模型可能在你的实际工作负载上却表现不佳——而你要到已经支付了集成成本之后才会知道。
除了饱和，还有污染问题。Scale AI在2024年进行的研究创建了1,250个小学数学问题的平行数据集，并对两个数据集都进行了领先模型基准测试；表现最差的模型在新数据集上的准确率比GSM8K下降了13%。这不是进步。这是记忆硬生生地伪装成推理。
基准测试生命周期：从有用到无用只需12–24个月
每个成为前沿标志的基准测试在12–24个月内就会被吃掉。这个原因是结构性的，而不是偶然的。一旦研究人员、厂商和团队知道哪个基准测试很重要，训练压力就会集中在它身上。模型不会均匀改进——它们针对被测量的测试进行优化。
一个审计框架——基准测试健康指数——发现静态基准测试的中位数区分寿命不到两年，之后天花板效应会侵蚀其排名信号。在静态基准测试变成营销数字之前，你大概能从中获得24个月的有用信号。
GPQA Diamond是一个研究生级科学基准测试，现在前沿模型的得分超过90%+，正在接近饱和。人类最后的考试在2025年初推出时，最好的模型得分低于10%；到2026年初，前沿模型得分为30–35%。即使是"未解决"的基准测试也发展很快。
这为什么对你的评估栈很重要
该领域已经有了回应。MMLU已饱和，不再区分前沿模型；相反，使用GPQA Diamond进行科学推理、SWE-bench Verified或SWE-bench Pro进行编码、AIME 2025进行数学推理、ARC-AGI 2进行抽象推理、人类最后的考试进行最难的推理任务、BFCL v4进行工具/函数调用、以及LMSYS的Arena Elo进行整体人类偏好。
但那只是损害控制。结构性解决方案是不同的：放弃假设任何单一静态基准测试能告诉你所需的一切。
CLEAR框架研究记录了实验室基准测试成绩和真实部署性能之间37%的差距；生产就绪需要分层评估：覆盖的自动化指标、作为筛选的LLM即法官以及对用户最关心的正确性的领域专家审查。
最有力的论点是针对基准测试组合进行评估并观察趋势，而不是单一快照。
不均匀的饱和问题
并非所有基准测试都以相同速率饱和。人工编写的基准测试比合成或混合基准测试更能抵抗性能饱和；人工策展的评估通常涵盖更丰富多样的问题和更深层的概念挑战，而人工引入的多样性和故意的复杂性使模型更难通过利用表面规律来"解决"基准测试任务。
翻译过来：如果你的评估策略倾向于LLM生成的合成基准测试，你买的是短期信号。模型将更快过拟合，你的数字会膨胀，三个月后基准测试就不再有用了。
| 基准测试 | 推出时前沿得分 | 当前前沿得分（2026年） | 饱和状态 | 适用于 |
|---|---|---|---|---|
| MMLU | 43.9%（GPT-3，2020年） | 88–94% | 已饱和 | 比较前沿以下的模型 |
| GSM8K | 35%（GPT-3，2021年） | 99% | 完全饱和 | 不再适用于前沿比较 |
| GPQA Diamond | 39%（GPT-4，2023年） | 94.3% | 接近饱和 | 仍能区分，但天花板接近 |
| MATH-500 | 不适用 | 96% | 接近饱和 | 竞赛级数学评估 |
| 人类最后的考试 | 最好：<10%（2025年初） | 30–35% | 活跃区分 | 前沿推理比较 |
| AIME 2025 | 不适用 | 91.3%–94% | 接近饱和 | 年度刷新降低污染风险 |
这对你的团队意味着什么
如果你处于为生产系统选择前沿模型的位置，基准测试排行榜是必要但不充分的输入。在排行榜上占优的模型在生产中常常表现不足；基准测试饱和和数据污染削弱了预测能力。
以下是实际工作流程：从仍能区分的基准测试开始。使用人类最后的考试或与你领域相关的特定任务评估。然后立即转向你自己的数据——代表你生产分布的合成数据，或来自你实际工作负载的小的手工标注验证集。最后，在承诺之前，用你的顶部2–3候选模型在真实流量上运行时间限制的试点。
排行榜告诉你前沿在哪里。你自己的评估栈告诉你前沿适用于你的问题的位置。