一、开篇

2023 年，如果你想比较两个大模型，只需要看一个数字——MMLU 分数。当时 GPT-3 的 43.9% 已经算是学术界的最高水平。

到了 2026 年，情况完全不同了。MMLU 的前沿模型得分已经飙到 92% 以上，人类专家天花板也不过 89.8%——这个基准已经饱和到无法区分顶级模型了。取而代之的是 GPQA Diamond（博士级科学题）、HLE（人类最后的考试）、SWE-bench Pro（真·写代码）等一系列新基准。

更让人头疼的是：同样的模型在不同的评测框架下跑出来能差 10-20 个百分点，而某些指标之间的排名可能完全相反。这篇博客会帮你理清当前评测体系的全貌——从学术基准到人类偏好，从速度成本到中文生态，以及最重要的：哪些数字值得相信，哪些只是噪音。

二、知识理解：从 MMLU 到 HLE 的军备竞赛

知识理解是最早也是最成熟的评测方向。它的核心思路很简单：拿一套专家设计的题目（选择题或简答题），看模型能答对多少。

MMLU —— 经典，但已饱和

MMLU（Massive Multitask Language Understanding）发布于 2020 年，包含 15,908 道选择题，覆盖 57 个学科——从小学数学到美国历史，从国际法到营养学。4 个选项，通常用 5-shot 评估。

截至 2026 年 5 月，MMLU 已有 99 个模型的分数记录。前沿模型集中在 88-94% 的狭窄区间内，区分度几乎为零。简单说：如果一个模型 MMLU 不到 85%，你不用看了——它被时代淘汰了。

MMLU-Pro —— 加码，但也在饱和的路上

MMLU-Pro 把选项从 4 个增加到 10 个，剔除了简单题，更侧重推理而非记忆。12000 道题，分数比原版 MMLU 低 16-33 个百分点。

但到 2025 年底，前沿模型也已经爬到 80-88.5% 的区间，饱和在即。当前领先者是阿里 Qwen3.6 Plus（88.5%）和 MiniMax M2.1（88.0%）。

GPQA Diamond —— 真正有区分度的接力棒

GPQA（Graduate-level Google-proof Q&A）是 2023 年底发布的，只有 448 道题，但每一道都出自博士级专家之手，覆盖生物、物理、化学三个领域。它的核心设计目标：即使有全网搜索权限，非专业人士在 30 分钟内也只能答对 34%——题目是不可 Google 的。

关键趋势：GPQA 也正在接近饱和。2023 年它还充满区分度，到了 2026 年前沿模型得分普遍超过 90%，领先者之间仅差 0.3-1 个百分点。这个基准的有效生命周期大约只有 2.5 年。

HLE —— 人类最后的考试

HLE（Humanity’s Last Exam）发布于 2025 年 1 月，由将近 1000 名专家在 500 多个机构合作编制，包含 2,500 道高难度题目（76% 为简答题）。设计之初就是为了抵制饱和——前沿模型得分因评测方式不同而大幅波动，最低 35-46%（无工具评估，如 Artificial Analysis），最高可达 64.7%（Claude Mythos Preview，BenchLM.ai 2026年5月），距离人类专家估计上限 90% 还有巨大的提升空间。

这是目前极少数尚未接近饱和的前沿基准之一。

知识理解小结

*注：HLE 得分因评测方法差异较大（无工具 vs 带高级推理）

从上图可以看出，MMLU、GPQA、AIME 2025 等经典基准都已接近或达到饱和，HLE 和 SWE-bench Pro 是目前尚存区分度的前沿基准。

三、数学推理：从小学题到研究级

数学是评测推理能力的「试金石」——它不需要知识广度，但需要严谨的多步推理。

GSM8K —— 小学数学，已饱和

GSM8K 包含 8,500 道小学级数学应用题，曾经是评测数学推理的标准。2024 年后前沿模型已经普遍达到 95%+，不再具有区分度。

MATH-500 / AIME 2025 —— 竞赛数学

MATH-500 是更高难度的竞赛数学。而 AIME（美国数学邀请赛） 则是真正的竞技场：每年 30 道奥赛级题目，整数答案在 000-999 之间。

2025 年 AIME 的前沿模型已经普遍达到 100%——GPT-5.2、Gemini 3 Pro、Grok-4 Heavy 等多个模型都已满分，这个基准也已饱和。2026 年的新题 AIME 2026 已被引入作为新的区分基准。截至 2026 年 5 月，AIME 2025 共有 108 个模型记录在案，平均分 78.4%。

FrontierMath —— 研究级数学

FrontierMath 走得更远——题目来源于未发表的研究论文，评估模型在科研级数学方面的能力。前沿模型在这个基准上仍在爬坡阶段。

四、代码能力：从写函数到修 PR

2025-2026 年，代码评测经历了最大的一次变革——从「写函数」变成了「修仓库」。

HumanEval —— 经典但已无用

HumanEval 发布于 2021 年，包含 164 道 Python 函数签名题。2024 年后几乎所有模型都得分 90%+，完全饱和。

SWE-bench —— 真正改变游戏规则的基准

SWE-bench 由普林斯顿大学于 2023 年推出，评测的不是「写一个函数」，而是从真实的 GitHub issue 出发，让模型修改仓库中的代码，然后运行真正的测试套件验证。

SWE-bench Verified 和 Pro 之间 35 个百分点的差距揭示了关键事实：同一个模型（Claude Opus 4.5）在 Verified 上达 80.9%，在 Pro 上仅 45.9%。这不是模型变差了——而是 Verified 任务更简单且受到数据污染影响。

LiveCodeBench —— 抗污染设计

SWE-bench 解决了任务复杂性的难题，但和所有静态基准一样，无法回避数据污染的风险——训练数据可能包含被测 issue 的解法。为此，需要引入月更的竞赛级基准——LiveCodeBench。

LiveCodeBench 使用训练截止日期之后的编程竞赛题，每月更新。这样模型就无法「背题」了。2026 年的顶级模型在其 Pro 变体上的得分在 20-30 分（用真分数而非百分比）范围内。

五、人类偏好：Chatbot Arena 与 LLM-as-Judge

客观基准越来越饱和，人到底喜欢哪个模型？ 这个问题催生了两个重要方法。

Chatbot Arena

由伯克利主导的 LMSYS Chatbot Arena 采用匿名对抗投票模式：用户提一个问题，收到两个模型的回复（不知道谁是谁），然后投票选出更好的一个。至今已累积接近 500 万张投票。

Elo 评分体系下，2026 年顶级模型的得分在 1400-1500+ 区间。但这个排名的问题在于置信区间：前 3 名的 Elo 分差只有 2-5 点，而置信区间宽达 ±15-20 点。第 1 名和第 3 名的差异可能在统计噪声范围内。

正确用法：看置信区间，而不是排名。

值得注意的是，人类的即时偏好（流畅、共情、辞藻华丽）有时会与事实准确性、安全性等长期价值相悖。一个在 Arena 排名靠前的模型，未必是事实最准确的模型——它可能更擅长「讨好」用户（即近年来被广泛讨论的「谄媚效应」，Sycophancy），而非提供客观正确的答案。这需要结合知识/推理基准综合判断。

LLM-as-Judge

用一个强大的 LLM（通常是 GPT 系列）来评估其他模型的输出质量。研究发现，这种方法与人类判断的共识度可达 80-90%（与人类之间的共识度相当），而成本只有人工评估的 1/5000。

但这种方法也有偏差：LLM Judge 倾向于长度偏好（越长越好）、位置偏好（第一个回答更容易当选），以及在特定风格上的系统性偏见。

六、速度与成本：决定落地选择的「看不见的手」

对于实际部署，模型「聪明不聪明」只是决策因素之一。速度、成本、上下文窗口经常是更关键的决定因素。

核心指标

2026 年代表性模型价格速览

📝 2026-10-12 更新：价格按各家官网最新标价修正。此后各家又发布了更新的模型（如 GPT-5.5、Claude Opus 5），本表仍保留原文对比的型号。

一个容易被忽略的事实：Gemini 2.5 Flash Lite 在免费层可以零成本调用（付费层也只要 $0.10 / $0.40），DeepSeek V4.1 Flash 的价格大约只有 GPT-5.4 的 1/10（闲时更低）。对于大量生产级任务，性价比比绝对性能重要得多。

速度差异

在一项典型任务中，推理速度可以从 Mistral Small 3.1 的 150 tokens/s 到某些大型专家模型的 20-30 tokens/s。决定因素包括模型大小、量化精度、批处理大小、硬件规格。

中文大模型性价比

据 SuperCLUE 2025 年 9 月报告，国内模型平均 API 价格为 3.88 元/百万 tokens，而海外模型平均 20.46 元/百万 tokens——差价超过 5 倍。海外模型全部落在「中低性价比区间」，而国内模型有多个进入「高性价比区间」。

七、中文评测生态

中文大模型的评测与国际主流既有重叠也有差异。除了 MMLU、GPQA 等国际通用基准外，中文领域有自己独特的评测体系。

C-Eval

中文版 MMLU，覆盖 52 个学科，从人文到理工，全部中文出题。是国内模型标配的基线测试之一。

SuperCLUE

由 CLUE 团队（2019 年发起的中文语言理解基准）延续而来的大模型评测体系，是国内最权威的中文评测之一。2025 年 9 月版的评测包括 6 大任务、1,260 道新题：

与 LMArena 的相关性：SuperCLUE 的得分与 LMArena Elo 的皮尔逊相关系数为 0.8239（p < 0.001），说明这套中文基准与人类偏好高度吻合。

中国国家标准

值得注意的是，中国已发布 GB/T 45288.2-2025《人工智能 大模型 第2部分：评测指标与方法》，这是国家层面的大模型评测标准。与西方由少数机构和公司主导的「竞赛式」榜单不同，GB/T 标准的出现标志着中国将大模型评测作为基础设施进行顶层设计。它从理解能力（文本/图像/音频/多模态）、生成能力两大维度出发，定义了准确率、召回率、BLEU、ROUGE 等客观指标，以及 MOS 分等主观指标。这一标准将对国内模型的研发导向、安全合规产生根本性的规范作用——不仅仅是「谁更强」，而是「应该怎么测、什么算合格」。

八、如何不被评测「骗」

数据污染（Contamination）

这是最严重、最隐蔽的问题。评测数据集（特别是 MMLU、HumanEval 等经典基准）的题目被包含在模型的训练数据中。模型并非真正在「解答」问题，而是在复现其在训练数据中见过的模式与答案片段。据 2026 年的 Benchmark Health Index 统计，静态基准的中位有效寿命不足 2 年。

解决方案：优先选择 LiveBench、LiveCodeBench 等定期轮换题目的抗污染基准。

饱和陷阱（Saturation）

当所有模型都在 90%+ 范围内时，你看到的排名差其实没有统计学意义。一个基准的生命周期大致是：有用（Top 50-80%）→ 区分（80-90%）→ 饱和（90%+）。当前饱和的清单：MMLU、HumanEval、HellaSwag、WinoGrande、GSM8K。

Harness 依赖

在智能体基准（SWE-bench、Terminal-Bench）上，评测框架本身可以贡献 10-20 个百分点的分数差异。框架决定模型能调用什么工具、尝试几次、上下文如何管理、任务如何评分——这些都不是「模型能力」，但全都会体现在最终分数里。

置信区间

Chatbot Arena 的 Elo 排名中，前 3 名之间的分差往往在 2-5 点，而置信区间宽达 ±15-20 点。当两个模型的置信区间重叠时，排名差异没有统计意义。

九、总结：如何正确看评测

三角验证法

不要相信任何一个单一基准。正确的做法是交叉验证三个不同类型的高评测：

评测应综合四个维度：智能水平（静态基准）、速度（延迟/吞吐）、价格（成本效率）、硬件（部署可行性）

当三者指向同一结论时，你才有了可以行动的信号。例如，如果 DeepSeek V4 Pro Max 在 GPQA（静态学术）得分 90%+，在 Arena 排名前 10（人类偏好），在 SWE-bench Verified 达到 80%+（智能体），那么三个维度一致，你确信它是一流模型。

当它们不一致时，这种不一致本身就是最有价值的信息——它精确揭示了模型能力的「偏科地图」。例如，某个模型在 GPQA 上得分极高但在 Arena 上表现平平，说明它知识扎实但对话体验一般；或者在 SWE-bench 上出色但 Arena 上靠后，说明写代码强但当聊天助手不够讨喜。

快速决策指南

最后

AI 评测是一个被严重低估的领域。大多数人看排行榜只看第一名是谁，然后得出结论「某某模型最强」。但真相是：没有一个模型在所有维度上都是最好的。Gemini 3 Pro 在 GPQA 上领先，但辅助编码不如 Claude；DeepSeek V4.1 Flash 价格大约只有 GPT-5.4 的 1/10，但复杂推理还有差距；国内模型在中文场景和性价比上有优势，但在精确指令遵循等维度与国际前沿仍有差距。

知道看什么、怎么看，比知道「谁第一」重要一百倍。

数据来源说明

• Artificial Analysis — 综合四维评估框架
• LMSYS Chatbot Arena — 人类偏好 Elo 排名
• SuperCLUE 2025 年 9 月 & 年度报告 — 中文大模型评测
• GPQA / HLE / MMLU 官方论文和榜单
• SWE-bench 官方文档 (Princeton)
• GB/T 45288.2-2025 中国国家标准
• 中国信通院「方升」大模型基准测试体系研究报告
• BenchLM.ai, llm-stats.com, CodeSOTA — 实时排名数据