一、開篇

2023年、2つの大モデルを比較するのに必要な数字はたった一つ——MMLUスコアだった。当時GPT-3の43.9%が学界の最高水準とされていた。

2026年の今、状況は一変した。MMLUのフロンティアモデルのスコアは92%以上に急上昇し、人間の専門家上限（89.8%）を超えている——このベンチマークはトップモデルを区別できなくなるほど飽和しているのだ。代わりに、GPQA Diamond（博士レベルの科学問題）、HLE（人類最後の試験）、SWE-bench Pro（本格的なコーディング）など、一連の新ベンチマークが台頭している。

さらに厄介なのは、同じモデルでも評価フレームワークが変わるとスコアが10〜20ポイントも乖離し、指標によってランキングが完全に逆転することもある。本記事では、現在の評価体系の全貌——学術ベンチマークから人間の嗜好、速度・コストから中国語エコシステムまで、そして最も重要などの数字を信じるべきか、何がノイズなのか——を整理する。

二、知識理解：MMLUからHLEへの軍拡競争

知識理解は最も古く、最も成熟した評価分野だ。その核心はシンプルで、専門家が設計した問題（選択式または記述式）をモデルがどれだけ正解できるかを測る。

MMLU —— 古典、だが飽和

MMLUは2020年に公開され、15,908問の選択問題を57学科にわたって収録——小学校の算数からアメリカ史、国際法から栄養学まで。4択式で、通常5-shotで評価される。

2026年5月現在、MMLUには99モデルのスコアが記録されている。フロンティアモデルは88〜94%の狭い範囲に密集しており、差別化はほぼ不可能だ。簡単に言えば、MMLUが85%未満のモデルは——時代遅れである。

MMLU-Pro —— 難度向上、だが飽和への道

MMLU-Proは選択肢を4つから10個に増やし、簡単な問題を排除、記憶よりも推論を重視している。12,000問で構成され、スコアはオリジナルMMLUより16〜33ポイント低くなる。

しかし2025年末には、フロンティアモデルも**80〜88.5%**の範囲に達し、飽和が目前となっている。現在のリーダーはAlibabaのQwen3.6 Plus（88.5%）とMiniMax M2.1（88.0%）だ。

GPQA Diamond —— 真の差別化指標

GPQAは2023年末に公開され、448問と少ないが、すべて博士レベルの専門家が出題、生物学・物理学・化学の3分野をカバーする。核心の設計目標は、ウェブ検索のフルアクセスがあっても、非専門家が30分で正解できるのは34%だけ——つまりググっても答えが出てこない問題である。

重要トレンド：GPQAも飽和に近づいている。2023年は十分な差別化ができていたが、2026年にはフロンティアモデルが軒並み90%超え、トップ間の差はわずか0.3〜1ポイント。このベンチマークの有効寿命は約2.5年だった。

HLE —— 人類最後の試験

HLEは2025年1月に公開され、約1,000人の専門家が500以上の機関と協力して作成した2,500問の高難度問題（76%が記述式）。飽和を防ぐために設計されており、フロンティアモデルのスコアは評価方法によって大きく異なり、最低35〜46%（ツールなし評価、Artificial Analysis）から最高64.7%（Claude Mythos Preview, BenchLM.ai 2026年5月）まで幅がある。人間の専門家上限（約90%）にはまだ大きなギャップがある。

現在、飽和に近づいていない数少ないフロンティアベンチマークの一つである。

知識理解まとめ

*注：HLE 得分因评测方法差异较大

MMLU、GPQA、AIME 2025などの古典的ベンチマークは飽和に近づいており、HLEとSWE-bench Proが現在も差別化可能なフロンティアベンチマークである。

三、数学推論：小学生の問題から研究レベルまで

数学は推論能力を評価する「試金石」——幅広い知識は不要だが、厳密な多段階推論が求められる。

GSM8K —— 小学数学、飽和

GSM8Kは8,500問の小学生レベルの算数文章題で、かつて数学推論の標準評価だった。2024年以降、フロンティアモデルは軒並み95%以上に達し、差別化能力を失っている。

MATH-500 / AIME 2025 —— 競技数学

MATH-500はより高難度の競技数学。一方、AIMEは真の戦いの場で、毎年30問の数学オリンピック級の問題が出題される。

2025年AIMEではフロンティアモデルが軒並み100%を達成——GPT-5.2、Gemini 3 Pro、Grok-4 Heavyなど複数のモデルが満点を取り、このベンチマークも飽和した。2026年の新問題AIME 2026が新たな差別化基準として導入されている。2026年5月現在、AIME 2025には108モデルが記録され、平均点は78.4%だ。

FrontierMath —— 研究レベル数学

FrontierMathはさらに一歩進んでおり、未発表の研究論文から出題され、モデルの研究レベルの数学能力を評価する。フロンティアモデルはこのベンチマークではまだ発展途上にある。

四、コード能力：関数からPR修正まで

2025〜2026年、コード評価は最大の変革を経験した——関数を書くことから、リポジトリを修正することへ。

HumanEval —— 古典だが無意味

HumanEvalは2021年に公開され、164問のPython関数問題で構成。2024年以降、ほぼすべてのモデルが90%以上を獲得しており、完全に飽和している。

SWE-bench —— ゲームチェンジャー

SWE-benchはプリンストン大学が2023年にリリースしたもので、評価するのは関数を書くことではなく、実際のGitHub Issueをもとにモデルがリポジトリのコードを修正し、実際のテストスイートで検証することだ。

SWE-bench VerifiedとProの35ポイントのギャップは重要な事実を明らかにしている。同じモデル（Claude Opus 4.5）がVerifiedで80.9%、Proで45.9%——モデルが劣化したのではなく、Verifiedのタスクがより簡単で、データ汚染の影響も受けているのだ。

LiveCodeBench —— 抗污染設計

SWE-benchはタスクの複雑さの課題を解決したが、すべての静的ベンチマークと同様にデータ汚染のリスクを免れない——学習データに評価対象のIssueの解法が含まれている可能性がある。そこで、月次更新の競技プログラミングベンチマーク——LiveCodeBenchが必要となる。

LiveCodeBenchは、学習カットオフ日以降の競技プログラミング問題を使用し、毎月更新される。これによりモデルは問題を「暗記」できない。2026年のトップモデルはProバリアントで20〜30点（真のスコア、パーセンテージではない）の範囲にある。

五、人間の嗜好：Chatbot ArenaとLLM-as-Judge

客観的ベンチマークが飽和する中、人間は実際にどのモデルを好むのか？ という問いから2つの重要な手法が生まれた。

Chatbot Arena

バークレー主導のLMSYS Chatbot Arenaは、匿名対戦投票方式を採用している。ユーザーが質問を送ると、2つのモデルからの回答を匿名で受け取り、良い方を投票する。現在までに約500万票が蓄積されている。

Eloレーティングシステムの下、2026年のトップモデルは1400〜1500+の範囲。しかしこのランキングの問題は信頼区間にある。トップ3のElo差はわずか2〜5ポイントだが、信頼区間は±15〜20ポイントと広い。1位と3位の差は統計的ノイズの範囲内かもしれない。

正しい使い方：ランキングではなく信頼区間を見よ。

注意すべきは、人間の即時的嗜好（流暢さ、共感、華麗な表現）が、事実の正確性や安全性といった長期的価値と相反することがある点だ。Arenaで上位のモデルが必ずしも事実上最も正確とは限らない——ユーザーを「喜ばせる」ことに長けている可能性があり（近年広く議論されている「追従効果」、Sycophancy）、客観的に正しい答えを提供しているとは限らない。知識・推論ベンチマークと組み合わせた総合判断が必要だ。

LLM-as-Judge

強力なLLMを使って他のモデルの出力品質を評価する方法。研究によると、この手法と人間の判断の一致度は80〜90%に達し（人間同士の一致度と同等）、コストは人間による評価の1/5000だ。

しかし、この手法にもバイアスがある。LLM Judgeは長さの偏り（長い方が好まれる）、位置の偏り（最初の回答が選ばれやすい）、特定のスタイルに対する体系的な偏見を示す。

六、速度とコスト：実装選択を決める「見えざる手」

実際のデプロイにおいて、モデルが「賢いかどうか」は意思決定要因の一つに過ぎない。速度、コスト、コンテキストウィンドウのほうが、より重要な決定要因になることが多い。

核心指標

2026年の代表的なモデル価格一覧

📝 2026-10-12 更新：各社公式サイトの最新価格に合わせて修正した。その後さらに新しいモデル（GPT-5.5、Claude Opus 5 など）も登場しているが、この表では元の比較対象のモデルを残している。

見逃せない事実：Gemini 2.5 Flash Liteは無料枠ならコストゼロ（有料枠でも $0.10 / $0.40）、DeepSeek V4.1 FlashはGPT-5.4のおよそ10分の1の価格（オフピークはさらに安い）。大量のプロダクションタスクにおいては、絶対性能よりコスパの方がはるかに重要だ。

速度の差

典型的なタスクでは、推論速度はMistral Small 3.1の150 tokens/sから、大規模エキスパートモデルの20〜30 tokens/sまで幅がある。決定要因には、モデルサイズ、量子化精度、バッチサイズ、ハードウェア仕様が含まれる。

中国語大モデルのコスパ

SuperCLUE 2025年9月の報告によると、国内モデルの平均API価格は3.88元/百万トークン、海外モデルは平均20.46元/百万トークン——5倍以上の開きがある。海外モデルはすべて「中低コスパゾーン」に集中する一方、国内モデルは複数が「高コスパゾーン」に入っている。

七、中国語評価エコシステム

中国語大モデルの評価は、国際主流と重なる部分もあれば、差異もある。MMLU、GPQAなどの国際共通ベンチマークに加え、中国語領域には独自の評価体系が存在する。

C-Eval

中国語版MMLUで、52学科をカバー、人文系から理工系まで全て中国語で出題。国内モデルの標準的なベースラインテストの一つ。

SuperCLUE

CLUEチーム（2019年に開始された中国語言語理解ベンチマーク）から継承された大モデル評価体系で、国内で最も権威ある中国語評価の一つ。2025年9月版は6大タスク、1,260問の新問題で構成される：

LMArenaとの相関：SuperCLUEのスコアとLMArena Eloのピアソン相関係数は0.8239（p < 0.001）で、この中国語ベンチマークが人間の嗜好と高度に一致していることを示している。

中国国家基準

特筆すべきは、中国がGB/T 45288.2-2025『人工知能 大モデル 第2部：評価指標と方法』を発行したことだ。これは国家レベルの大モデル評価基準である。欧米のように一部の機関や企業が主導する「競技型」ランキングとは異なり、GB/T基準の登場は中国が大モデル評価をインフラとしてトップダウン設計していることを示している。理解能力（テキスト/画像/音声/マルチモーダル）と生成能力の2大軸から、正解率、再現率、BLEU、ROUGEなどの客観指標と、MOSスコアなどの主観指標を定義している。この基準は国内モデルの研究開発の方向性や安全性・コンプライアンスに根本的な規範的影響を与える——単なる「どちらが強いか」ではなく、「どう測るべきか、何が合格か」を定めるものだ。

八、評価に騙されないために

データ汚染（Contamination）

最も深刻で、最も見えにくい問題。評価データセット（特にMMLU、HumanEvalなどの古典的ベンチマーク）の問題がモデルの学習データに含まれてしまう。モデルは真に「解答」しているのではなく、学習データで見たパターンや回答断片を再現している可能性がある。Benchmark Health Indexの統計によると、静的ベンチマークの有効寿命の中央値は2年未満だ。

解決策：LiveBench、LiveCodeBenchなど定期的に問題を入れ替える抗汚染ベンチマークを優先せよ。

飽和の罠（Saturation）

すべてのモデルが90%以上の範囲にあるとき、見かけのランキング差には統計的意味がない。ベンチマークのライフサイクルはおおよそ：有用（50〜80%）→ 差別化（80〜90%）→ 飽和（90%+）。現在飽和しているリスト：MMLU、HumanEval、HellaSwag、WinoGrande、GSM8K。

Harness依存

エージェントベンチマークでは、評価フレームワーク自体が10〜20ポイントのスコア差を生み出す。フレームワークが、モデルが呼び出せるツール、試行回数、コンテキスト管理方法、タスクの採点方法を決定する——これらはいずれも「モデル能力」ではないが、すべて最終スコアに反映される。

信頼区間

Chatbot ArenaのEloランキングでは、トップ3間のスコア差は多くの場合2〜5ポイントだが、信頼区間は±15〜20ポイントと広い。2つのモデルの信頼区間が重なっている場合、ランキングの差に統計的意味はない。

九、まとめ：正しい評価の見方

三角検証法

単一のベンチマークを信じてはいけない。正しい方法は、3つの異なるタイプの評価をクロス検証することだ：

評価は4次元を総合すべき：知能（静的ベンチマーク）、速度（レイテンシ/スループット）、価格（コスト効率）、ハードウェア（デプロイ可能性）

3つすべてが同じ結論を示したとき、初めて行動できるシグナルが得られる。例えば、DeepSeek V4 Pro MaxがGPQA（静的学術）で90%以上、Arena（人間の嗜好）でトップ10、SWE-bench Verified（エージェント）で80%以上であれば、3つの次元が一致しており、一流モデルであると確信できる。

それらが一致しないとき、その不一致自体が最も価値のある情報だ——モデルの能力の「偏りマップ」を正確に明らかにする。例えば、あるモデルがGPQAで非常に高いスコアを出すがArenaで平凡な場合、知識は豊富だが対話体験は標準的だということだ。あるいはSWE-benchでは優秀だがArenaでは下位なら、コーディングは強いがチャットアシスタントとしてはあまり好まれないという意味だ。

クイック判断ガイド

最後に

AI評価は深刻に過小評価されている分野だ。ほとんどの人はランキングの1位だけを見て「◯◯モデルが最強」と結論づける。しかし真実は、すべての次元で最高のモデルは存在しないことだ。Gemini 3 ProはGPQAでリードするが、コーディング補助ではClaudeに及ばない。DeepSeek V4.1 FlashはGPT-5.4のおよそ10分の1の価格だが、複雑な推論にはまだギャップがある。国内モデルは中国語シナリオとコスパで優位だが、正確な指示追従などの次元では国際フロンティアとの差がある。

何を見るか、どう見るかを知ることは、誰が一番かを知ることより百倍重要だ。

データソース説明

• Artificial Analysis — 総合4次元評価フレームワーク
• LMSYS Chatbot Arena — 人間の嗜好 Elo ランキング
• SuperCLUE 2025年9月 & 年間報告書 — 中国語大モデル評価
• GPQA / HLE / MMLU 公式論文とランキング
• SWE-bench 公式ドキュメント (Princeton)
• GB/T 45288.2-2025 中国国家基準
• 中国信通院「方升」大モデルベンチマークテスト体系研究報告
• BenchLM.ai, llm-stats.com, CodeSOTA — リアルタイムランキングデータ