Jak czytać benchmark AI: MTGBench i test 5 promptów

Otwierasz ranking, widzisz model A nad modelem B i wybierasz A. Potem A potyka się na Twoim zadaniu, a B nie. Nic nie jest zepsute: pozycja w rankingu to średnia z cudzych zadań, a Twoje zadanie może nie przypominać ich zadań. Poprawka jest niewielka. Weź pięć własnych promptów, uruchom je na dwóch modelach, przeczytaj odpowiedzi i porównaj, ile kosztowało każde zadanie. Reszta tej strony pokazuje, dlaczego to działa, na przykładzie świeżej pracy naukowej, i daje Ci skrypt.

Dlaczego pozycja w rankingu to nie wyrok#

Praca to MTGBench: A Multi-Turn Game Benchmark for Diverse LLM Capability Assessment, opublikowana w Findings of EMNLP 2026 (sprawdzone 29 października 2026). Autorzy ocenili 16 modeli frontier na siedmiu grach, a jednym z ich głównych wniosków jest to, że rankingi modeli silnie zależą od zadania. Przejdź do innej gry, a kolejność się zmienia.

Pomyśl teraz o rankingu z jedną średnią na szczycie. Średnia ukrywa gry. Jeśli Twoje zadanie przypomina gry, w których model jest dobry, wygrywasz. Jeśli nie, liczba, którą przeczytałeś, dotyczyła czegoś innego.

Czym jest siedem gier#

Gry to Word Chain, Wordle, 20 Questions, Wheel of Fortune, Situation Puzzles, 20 Features i Alias (nazwy z README projektu na GitHubie, sprawdzone 29 października 2026). Są wieloturowe: model nie odpowiada raz, tylko gra. Zgaduje, dostaje informację zwrotną, zgaduje ponownie. Wordle to najprostszy obraz: proponujesz słowo, dowiadujesz się, które litery pasują, i próbujesz jeszcze raz.

Dwie rzeczy w projekcie warto skopiować do własnego testu.

Po pierwsze, kto sprawdza odpowiedź. Cztery gry są oceniane przez zwykły kod. Pozostałe trzy używają ograniczonego LLM jako egzekutora reguł, a autorzy zweryfikowali go względem ludzkich anotatorów. Zawsze ktoś musi zdecydować, co liczy się jako poprawne. W Twoim mini-teście tym kimś jesteś Ty.

Po drugie, język. Zestaw jest dwujęzyczny, angielski i rosyjski, a epizody zostały wygenerowane natywnie w każdym języku, nie przetłumaczone. Autorzy zebrali też ludzką linię bazową, 476 sesji, raportowaną dla rosyjskiego. Ich podsumowanie: najsilniejsze modele z włączonym rozumowaniem dorównują tej linii bazowej lub ją przewyższają w całym zestawie.

Czego wynik nie powie#

Nie powie, jak pytać. MTGBench porównuje trzy konfiguracje: answer-only (domyślną), chain-of-thought i native reasoning. Autorzy raportują, że CoT jest niemal niezbędne w grach na poziomie liter, ale daje nierówne zyski w zadaniach opartych na wiedzy. Ten sam model wygląda więc różnie w zależności od tego, jak go zapytano. W teście wypróbuj najtrudniejszy prompt na oba sposoby.

Nie powie o koszcie myślenia. Myślenie na głos to tekst, który model pisze, a pisany tekst to output, droższa strona rachunku (więcej w Input vs output tokens i Reasoning effort and thinking tokens). Powiedzmy, że prompt o 600 tokenach dostaje odpowiedź 100 tokenów bez CoT i 600 tokenów z CoT. Na DeepSeek-V4-Flash to $0.000019 wobec $0.000069 za żądanie. Małe pieniądze, dopóki nie wyślesz tysięcy żądań dziennie.

Nie powie o Twoim języku. MTGBench buduje swoje epizody natywnie po angielsku i po rosyjsku, zamiast tłumaczyć, co samo w sobie jest wskazówką: język jest częścią zadania. Jeśli Twoi użytkownicy piszą po rosyjsku, umieść rosyjskie prompty w swojej piątce.

Uruchom test 5 promptów#

API jest zgodne z OpenAI, więc jeden skrypt uruchomi dowolny model i zmienia się tylko id modelu (id są w dokumentacji).

import os
from openai import OpenAI

client = OpenAI(
    base_url="https://api.cheaptokens.dev/v1",
    api_key=os.environ["CHEAPTOKENS_API_KEY"],
)
models = ["deepseek-ai/DeepSeek-V4-Flash-0731", "zai-org/GLM-5.3-Flash"]
prompts = [open(f"prompts/{i}.txt").read() for i in range(1, 6)]

for model in models:
    tin = tout = 0
    for i, prompt in enumerate(prompts, 1):
        r = client.chat.completions.create(
            model=model,
            messages=[{"role": "user", "content": prompt}],
            max_tokens=2000,
        )
        tin += r.usage.prompt_tokens
        tout += r.usage.completion_tokens
        print(f"--- {model} / prompt {i} / {r.choices[0].finish_reason}")
        print(r.choices[0].message.content)
    print(f"=== {model}: {tin} in, {tout} out")

Poniższa tabela pokazuje ten sam przykład, pięć żądań po 600 tokenów na wejściu i 300 na wyjściu, na każdym modelu, który mamy, z OpenRouterem obok dla porównania. Wejście i wyjście są liczone razem, a suma jest niższa niż u OpenRoutera w każdym wierszu.

Model, który zdobywa 9 na 10 przy ułamku kosztu, bije model, który zdobywa 10 na 10 przy kilkukrotnie wyższej cenie, a teraz widzisz, w którym przypadku jesteś. Strona z cenami ma aktualne liczby dla pozostałych modeli, a strona DeepSeek obejmuje długie odpowiedzi (do 32 768 tokenów wyjściowych), jeśli Twoje prompty wymagają wyjścia krok po kroku.

Co umieścić w swoich pięciu promptach#

Właściwa piątka zależy od tego, co budujesz. Wybierz swój przypadek.

Gdy liczby są już zebrane, How to choose an AI model pomaga w reszcie decyzji: rozmiar kontekstu, długość wyjścia i co zrobić, gdy dwa modele remisują.