AIベンチマークの読み方：MTGBenchと5プロンプトテスト

リーダーボードを開き、モデルAがモデルBより上にあるのを見て、Aを選ぶ。ところがAはあなたのタスクでつまずき、Bはつまずかない。壊れているわけではない。順位は他人のタスクでの平均であり、あなたのタスクは彼らのものとは似ていないかもしれない。修正は簡単だ。自分のプロンプトを5つ選び、2つのモデルで実行し、回答を読んで、それぞれがタスクあたりいくらかかったかを比較する。このページの残りでは、新しい論文を例に、なぜそれがうまくいくのかを示し、スクリプトを提供する。

なぜ順位は判定ではないのか#

その論文はMTGBench: A Multi-Turn Game Benchmark for Diverse LLM Capability Assessmentで、Findings of EMNLP 2026に掲載された（2026年10月29日確認）。著者らは16のフロンティアモデルを7つのゲームで評価し、主な発見の一つは、モデルのランキングはタスクに大きく依存するということだ。別のゲームに移れば順序は変わる。

さて、一番上に単一の平均値があるリーダーボードを考えてみよう。平均はゲームを隠す。あなたのタスクがモデルの得意なゲームに似ていれば、あなたの勝ちだ。似ていなければ、読んだ数字は別の何かについてのものだった。

7つのゲームとは#

ゲームはWord Chain、Wordle、20 Questions、Wheel of Fortune、Situation Puzzles、20 Features、Aliasである（名前はGitHubのプロジェクトREADMEより、2026年10月29日確認）。これらはマルチターンであり、モデルは一度答えるのではなく、プレイする。推測し、フィードバックを得て、また推測する。Wordleが分かりやすい例だ。単語を提案し、どの文字が合うかを学び、再び試す。

設計には自分のテストに取り入れる価値のある点が2つある。

第一に、誰が答えを検証するか。4つのゲームは通常のコードで採点される。残りの3つは制約付きLLMをルール執行者として使い、著者らはそれを人間のアノテーターに対して検証した。常に誰かが何を正解とするかを決めなければならない。あなたのミニテストでは、その誰かはあなた自身だ。

第二に、言語。スイートは英語とロシア語のバイリンガルで、エピソードは翻訳ではなく各言語でネイティブに生成された。著者らはまた、ロシア語について報告された476セッションの人間ベースラインを収集した。彼らの要約によれば、最も強力な推論対応モデルはスイート全体でそのベースラインに匹敵するか上回る。

スコアが教えてくれないこと#

どう尋ねるかを教えてくれない。 MTGBenchは3つの設定を比較する：回答のみ（デフォルト）、思考の連鎖、ネイティブ推論。著者らは、CoTは文字レベルのゲームにはほぼ必須だが、知識駆動型のゲームではむらのある利益しかもたらさないと報告している。つまり同じモデルでも尋ね方によって見え方が変わる。テストするときは、最も難しいプロンプトを両方の方法で試そう。

考えるコストを教えてくれない。 声に出して考えることはモデルが書くテキストであり、書かれたテキストは出力、つまり請求の高い側だ（詳細は入力トークンと出力トークンと推論の労力と思考トークン）。600トークンのプロンプトがCoTなしで100トークンの回答、CoTありで600トークンの回答を得るとしよう。DeepSeek-V4-Flashではリクエストあたり$0.000019対$0.000069だ。少額だが、1日に何千ものリクエストを送るまでは。

あなたの言語について教えてくれない。 MTGBenchはエピソードを翻訳するのではなく英語とロシア語でネイティブに構築する。それ自体がヒントだ：言語はタスクの一部である。ユーザーがロシア語で書くなら、5つの中にロシア語のプロンプトを入れよう。

5プロンプトテストを実行する#

APIはOpenAI互換なので、1つのスクリプトでどのモデルでも実行でき、変わるのはモデルIDだけだ（IDはドキュメントにある）。

import os
from openai import OpenAI

client = OpenAI(
    base_url="https://api.cheaptokens.dev/v1",
    api_key=os.environ["CHEAPTOKENS_API_KEY"],
)
models = ["deepseek-ai/DeepSeek-V4-Flash-0731", "zai-org/GLM-5.3-Flash"]
prompts = [open(f"prompts/{i}.txt").read() for i in range(1, 6)]

for model in models:
    tin = tout = 0
    for i, prompt in enumerate(prompts, 1):
        r = client.chat.completions.create(
            model=model,
            messages=[{"role": "user", "content": prompt}],
            max_tokens=2000,
        )
        tin += r.usage.prompt_tokens
        tout += r.usage.completion_tokens
        print(f"--- {model} / prompt {i} / {r.choices[0].finish_reason}")
        print(r.choices[0].message.content)
    print(f"=== {model}: {tin} in, {tout} out")

下の表は同じ例、入力600トークン・出力300トークンの5リクエストを、当社のすべてのモデルで示し、参考としてOpenRouterを並べている。入力と出力は合算され、合計は各行でOpenRouterより低い。

10点中9点をわずかなコストで取るモデルは、10点中10点を数倍の価格で取るモデルに勝る。そして今、自分がどちらのケースにいるかが分かる。料金ページには残りのモデルの最新の数字があり、DeepSeekページは長い回答（最大32,768出力トークン）を扱っている。プロンプトが段階的な出力を必要とするなら。

5つのプロンプトに入れるもの#

正しい5つは、何を作るかによる。自分のケースを選ぼう。

数字が出たら、AIモデルの選び方が残りの決定に役立つ：コンテキストサイズ、出力長、そして2つのモデルが引き分けたときにどうするか。