Wie man einen AI-Benchmark liest: MTGBench und ein 5-Prompt-Test

Du öffnest ein Leaderboard, siehst Modell A über Modell B und wählst A. Dann stolpert A über deine Aufgabe und B nicht. Nichts ist kaputt: Ein Rang ist ein Durchschnitt über die Aufgaben von jemand anderem, und deine Aufgabe sieht vielleicht nicht aus wie deren. Die Lösung ist klein. Nimm fünf deiner eigenen Prompts, führe sie auf zwei Modellen aus, lies die Antworten und vergleiche, was jede pro Aufgabe gekostet hat. Der Rest dieser Seite zeigt, warum das funktioniert, mit einem frischen Paper als Beispiel, und liefert dir das Skript.

Warum ein Rang kein Urteil ist#

Das Paper ist MTGBench: A Multi-Turn Game Benchmark for Diverse LLM Capability Assessment, veröffentlicht in Findings of EMNLP 2026 (geprüft am 29. Oktober 2026). Die Autoren haben 16 Frontier-Modelle auf sieben Spielen evaluiert, und eines ihrer Hauptergebnisse ist, dass Modell-Rankings stark von der Aufgabe abhängen. Wechsle zu einem anderen Spiel, und die Reihenfolge verschiebt sich.

Denk jetzt an ein Leaderboard mit einem einzigen Durchschnitt an der Spitze. Der Durchschnitt versteckt die Spiele. Wenn deine Aufgabe aussieht wie die Spiele, in denen ein Modell gut ist, gewinnst du. Wenn nicht, handelte die Zahl, die du gelesen hast, von etwas anderem.

Was die sieben Spiele sind#

Die Spiele sind Word Chain, Wordle, 20 Questions, Wheel of Fortune, Situation Puzzles, 20 Features und Alias (Namen aus dem Projekt-README auf GitHub, geprüft am 29. Oktober 2026). Sie sind mehrstufig: Das Modell antwortet nicht einmal, es spielt. Raten, Feedback bekommen, wieder raten. Wordle ist das einfache Bild: Du schlägst ein Wort vor, erfährst, welche Buchstaben passen, und versuchst es erneut.

Zwei Dinge im Design lohnen sich, in deinem eigenen Test zu übernehmen.

Erstens, wer die Antwort prüft. Vier Spiele werden von gewöhnlichem Code bewertet. Die anderen drei nutzen ein eingeschränktes LLM als Regel-Durchsetzer, und die Autoren haben es gegen menschliche Annotatoren validiert. Irgendjemand muss immer entscheiden, was als korrekt gilt. In deinem Mini-Test bist du dieser Jemand.

Zweitens, die Sprache. Die Suite ist zweisprachig, Englisch und Russisch, und die Episoden wurden nativ in jeder Sprache generiert, nicht übersetzt. Die Autoren haben außerdem eine menschliche Baseline erhoben, 476 Sitzungen, berichtet für Russisch. Ihre Zusammenfassung: Die stärksten Modelle mit Reasoning-Fähigkeit erreichen diese Baseline über die Suite hinweg oder übertreffen sie.

Was ein Score dir nicht sagen kann#

Er kann dir nicht sagen, wie du fragen sollst. MTGBench vergleicht drei Setups: answer-only (der Standard), chain-of-thought und native reasoning. Die Autoren berichten, dass CoT für Spiele auf Buchstabenebene nahezu unerlässlich ist, aber bei wissensgetriebenen Spielen ungleichmäßige Gewinne bringt. Dasselbe Modell sieht also anders aus, je nachdem, wie es gefragt wurde. Wenn du testest, probiere deinen schwierigsten Prompt auf beide Arten.

Er kann dir nicht die Kosten des Denkens sagen. Laut zu denken ist Text, den das Modell schreibt, und geschriebener Text ist Output, die teurere Seite der Rechnung (mehr in Input vs output tokens und Reasoning effort and thinking tokens). Sagen wir, ein Prompt von 600 Tokens bekommt eine 100-Token-Antwort ohne CoT und eine 600-Token-Antwort mit. Auf DeepSeek-V4-Flash sind das $0.000019 gegenüber $0.000069 pro Anfrage. Kleines Geld, bis du Tausende Anfragen pro Tag sendest.

Er kann dir nichts über deine Sprache sagen. MTGBench baut seine Episoden nativ auf Englisch und Russisch statt zu übersetzen, was an sich schon ein Hinweis ist: Sprache ist Teil der Aufgabe. Wenn deine Nutzer auf Russisch schreiben, pack russische Prompts in deine fünf.

Führe den 5-Prompt-Test aus#

Die API ist OpenAI-kompatibel, also führt ein Skript jedes Modell aus, und nur die Modell-ID ändert sich (IDs stehen in der Doku).

import os
from openai import OpenAI

client = OpenAI(
    base_url="https://api.cheaptokens.dev/v1",
    api_key=os.environ["CHEAPTOKENS_API_KEY"],
)
models = ["deepseek-ai/DeepSeek-V4-Flash-0731", "zai-org/GLM-5.3-Flash"]
prompts = [open(f"prompts/{i}.txt").read() for i in range(1, 6)]

for model in models:
    tin = tout = 0
    for i, prompt in enumerate(prompts, 1):
        r = client.chat.completions.create(
            model=model,
            messages=[{"role": "user", "content": prompt}],
            max_tokens=2000,
        )
        tin += r.usage.prompt_tokens
        tout += r.usage.completion_tokens
        print(f"--- {model} / prompt {i} / {r.choices[0].finish_reason}")
        print(r.choices[0].message.content)
    print(f"=== {model}: {tin} in, {tout} out")

Die Tabelle unten zeigt dasselbe Beispiel, fünf Anfragen mit 600 Tokens in und 300 out, auf jedem Modell, das wir haben, mit OpenRouter daneben als Referenz. Input und Output werden zusammen gezählt, und die Summe ist in jeder Zeile niedriger als bei OpenRouter.

Ein Modell, das 9 von 10 zu einem Bruchteil der Kosten erreicht, schlägt eines, das 10 von 10 zum Mehrfachen des Preises erreicht, und jetzt kannst du sehen, in welchem Fall du bist. Die Preisseite hat die aktuellen Zahlen für die übrigen Modelle, und die DeepSeek-Seite deckt lange Antworten ab (bis zu 32.768 Output-Tokens), falls deine Prompts schrittweisen Output brauchen.

Was in deine fünf Prompts gehört#

Die richtigen fünf hängen davon ab, was du baust. Wähle deinen Fall.

Wenn die Zahlen da sind, hilft dir How to choose an AI model beim Rest der Entscheidung: Kontextgröße, Output-Länge und was zu tun ist, wenn zwei Modelle gleichauf liegen.