Come leggere un benchmark AI: MTGBench e un test a 5 prompt

Apri una classifica, vedi il modello A sopra il modello B e scegli A. Poi A inciampa sul tuo task e B no. Non c'è nulla di rotto: un rank è una media sui task di qualcun altro, e il tuo task potrebbe non somigliare ai loro. La soluzione è piccola. Prendi cinque tuoi prompt, eseguili su due modelli, leggi le risposte e confronta quanto è costato ciascuno per task. Il resto di questa pagina mostra perché funziona, usando un paper recente come esempio, e ti dà lo script.

Perché un rank non è un verdetto#

Il paper è MTGBench: A Multi-Turn Game Benchmark for Diverse LLM Capability Assessment, pubblicato in Findings of EMNLP 2026 (verificato il 29 ottobre 2026). Gli autori hanno valutato 16 modelli frontier su sette giochi, e uno dei loro risultati principali è che le classifiche dei modelli dipendono fortemente dal task. Passa a un gioco diverso e l'ordine cambia.

Ora pensa a una classifica con un'unica media in cima. La media nasconde i giochi. Se il tuo task somiglia ai giochi in cui un modello è bravo, vinci. Se non somiglia, il numero che hai letto riguardava qualcos'altro.

Quali sono i sette giochi#

I giochi sono Word Chain, Wordle, 20 Questions, Wheel of Fortune, Situation Puzzles, 20 Features e Alias (nomi dal README del progetto su GitHub, verificato il 29 ottobre 2026). Sono multi-turn: il modello non risponde una volta, gioca. Indovina, riceve feedback, indovina di nuovo. Wordle è l'immagine facile: proponi una parola, scopri quali lettere combaciano e riprovi.

Due cose nel design vale la pena copiare nel tuo test.

Primo, chi controlla la risposta. Quattro giochi sono valutati da codice ordinario. Gli altri tre usano un LLM vincolato come arbitro delle regole, e gli autori l'hanno validato contro annotatori umani. Qualcuno deve sempre decidere cosa conta come corretto. Nel tuo mini-test, quel qualcuno sei tu.

Secondo, la lingua. La suite è bilingue, inglese e russo, e gli episodi sono stati generati nativamente in ciascuna lingua, non tradotti. Gli autori hanno anche raccolto una baseline umana, 476 sessioni, riportata per il russo. Il loro riassunto: i modelli più forti con reasoning abilitato raggiungono o superano quella baseline su tutta la suite.

Cosa un punteggio non può dirti#

Non può dirti come chiedere. MTGBench confronta tre setup: answer-only (il default), chain-of-thought e native reasoning. Gli autori riportano che il CoT è quasi essenziale per i giochi a livello di lettere ma dà guadagni irregolari su quelli guidati dalla conoscenza. Quindi lo stesso modello appare diverso a seconda di come gli è stato chiesto. Quando testi, prova il tuo prompt più difficile in entrambi i modi.

Non può dirti il costo del pensiero. Pensare ad alta voce è testo che il modello scrive, e il testo scritto è output, il lato più caro del conto (altro in Input vs output tokens e Reasoning effort and thinking tokens). Diciamo che un prompt di 600 token ottenga una risposta di 100 token senza CoT e una di 600 token con esso. Su DeepSeek-V4-Flash sono $0.000019 contro $0.000069 per richiesta. Pochi soldi, finché non invii migliaia di richieste al giorno.

Non può dirti nulla sulla tua lingua. MTGBench costruisce i suoi episodi nativamente in inglese e in russo invece di tradurli, il che è già un indizio: la lingua fa parte del task. Se i tuoi utenti scrivono in russo, metti prompt in russo nei tuoi cinque.

Esegui il test a 5 prompt#

L'API è compatibile con OpenAI, quindi uno script esegue qualsiasi modello e cambia solo l'id del modello (gli id sono nella documentazione).

import os
from openai import OpenAI

client = OpenAI(
    base_url="https://api.cheaptokens.dev/v1",
    api_key=os.environ["CHEAPTOKENS_API_KEY"],
)
models = ["deepseek-ai/DeepSeek-V4-Flash-0731", "zai-org/GLM-5.3-Flash"]
prompts = [open(f"prompts/{i}.txt").read() for i in range(1, 6)]

for model in models:
    tin = tout = 0
    for i, prompt in enumerate(prompts, 1):
        r = client.chat.completions.create(
            model=model,
            messages=[{"role": "user", "content": prompt}],
            max_tokens=2000,
        )
        tin += r.usage.prompt_tokens
        tout += r.usage.completion_tokens
        print(f"--- {model} / prompt {i} / {r.choices[0].finish_reason}")
        print(r.choices[0].message.content)
    print(f"=== {model}: {tin} in, {tout} out")

La tabella sotto mostra lo stesso esempio, cinque richieste da 600 token in input e 300 in output, su ogni modello che abbiamo, con OpenRouter accanto per riferimento. Input e output sono contati insieme, e il totale è più basso di quello di OpenRouter su ogni riga.

Un modello che segna 9 su 10 a una frazione del costo batte uno che segna 10 su 10 a diverse volte il prezzo, e ora puoi vedere in quale caso ti trovi. La pagina dei prezzi ha i numeri aggiornati per gli altri modelli, e la pagina DeepSeek copre le risposte lunghe (fino a 32.768 token di output) se i tuoi prompt richiedono output passo per passo.

Cosa mettere nei tuoi cinque prompt#

I cinque giusti dipendono da cosa costruisci. Scegli il tuo caso.

Quando hai i numeri, How to choose an AI model aiuta con il resto della decisione: dimensione del contesto, lunghezza dell'output e cosa fare quando due modelli sono pari.