Comment lire un benchmark d'IA : MTGBench et un test à 5 prompts

Vous ouvrez un classement, vous voyez le modèle A au-dessus du modèle B, et vous choisissez A. Puis A trébuche sur votre tâche et B non. Rien n'est cassé : un rang est une moyenne sur les tâches de quelqu'un d'autre, et votre tâche ne ressemble peut-être pas aux leurs. La correction est simple. Prenez cinq de vos propres prompts, exécutez-les sur deux modèles, lisez les réponses et comparez ce que chacun a coûté par tâche. Le reste de cette page montre pourquoi cela fonctionne, en prenant un article récent comme exemple, et vous donne le script.

Pourquoi un rang n'est pas un verdict#

L'article est MTGBench: A Multi-Turn Game Benchmark for Diverse LLM Capability Assessment, publié dans Findings of EMNLP 2026 (vérifié le 29 octobre 2026). Ses auteurs ont évalué 16 modèles de pointe sur sept jeux, et l'un de leurs principaux résultats est que les classements des modèles dépendent fortement de la tâche. Passez à un autre jeu et l'ordre change.

Pensez maintenant à un classement avec une seule moyenne en tête. La moyenne masque les jeux. Si votre tâche ressemble aux jeux où un modèle excelle, vous gagnez. Sinon, le chiffre que vous avez lu portait sur autre chose.

Quels sont les sept jeux#

Les jeux sont Word Chain, Wordle, 20 Questions, Wheel of Fortune, Situation Puzzles, 20 Features et Alias (noms tirés du README du projet sur GitHub, vérifié le 29 octobre 2026). Ils sont multi-tours : le modèle ne répond pas une fois, il joue. Il devine, reçoit un retour, devine à nouveau. Wordle en est l'image facile : vous proposez un mot, vous apprenez quelles lettres conviennent, et vous réessayez.

Deux éléments de la conception valent la peine d'être repris dans votre propre test.

Premièrement, qui vérifie la réponse. Quatre jeux sont notés par du code ordinaire. Les trois autres utilisent un LLM contraint comme arbitre des règles, et les auteurs l'ont validé auprès d'annotateurs humains. Quelqu'un doit toujours décider ce qui compte comme correct. Dans votre mini-test, ce quelqu'un, c'est vous.

Deuxièmement, la langue. La suite est bilingue, anglais et russe, et les épisodes ont été générés nativement dans chaque langue, pas traduits. Les auteurs ont aussi collecté une référence humaine, 476 sessions, rapportée pour le russe. Leur résumé : les modèles les plus forts dotés de raisonnement égalent ou dépassent cette référence sur l'ensemble de la suite.

Ce qu'un score ne peut pas vous dire#

Il ne peut pas vous dire comment demander. MTGBench compare trois configurations : answer-only (par défaut), chain-of-thought et raisonnement natif. Les auteurs rapportent que le CoT est presque indispensable pour les jeux au niveau des lettres mais donne des gains irréguliers sur ceux fondés sur la connaissance. Ainsi, le même modèle apparaît différent selon la façon dont on l'a interrogé. Lors de votre test, essayez votre prompt le plus difficile des deux façons.

Il ne peut pas vous dire le coût de la réflexion. Penser à voix haute, c'est du texte que le modèle écrit, et le texte écrit, c'est de la sortie, le côté le plus cher de la facture (voir Input vs output tokens et Reasoning effort and thinking tokens). Disons qu'un prompt de 600 tokens obtient une réponse de 100 tokens sans CoT et de 600 tokens avec. Sur DeepSeek-V4-Flash, cela fait $0.000019 contre $0.000069 par requête. Peu d'argent, jusqu'à ce que vous envoyiez des milliers de requêtes par jour.

Il ne peut pas vous dire ce qu'il en est de votre langue. MTGBench construit ses épisodes nativement en anglais et en russe plutôt que de les traduire, ce qui est un indice en soi : la langue fait partie de la tâche. Si vos utilisateurs écrivent en russe, mettez des prompts en russe dans vos cinq.

Lancez le test à 5 prompts#

L'API est compatible OpenAI, donc un seul script exécute n'importe quel modèle et seul l'id du modèle change (les ids sont dans la documentation).

import os
from openai import OpenAI

client = OpenAI(
    base_url="https://api.cheaptokens.dev/v1",
    api_key=os.environ["CHEAPTOKENS_API_KEY"],
)
models = ["deepseek-ai/DeepSeek-V4-Flash-0731", "zai-org/GLM-5.3-Flash"]
prompts = [open(f"prompts/{i}.txt").read() for i in range(1, 6)]

for model in models:
    tin = tout = 0
    for i, prompt in enumerate(prompts, 1):
        r = client.chat.completions.create(
            model=model,
            messages=[{"role": "user", "content": prompt}],
            max_tokens=2000,
        )
        tin += r.usage.prompt_tokens
        tout += r.usage.completion_tokens
        print(f"--- {model} / prompt {i} / {r.choices[0].finish_reason}")
        print(r.choices[0].message.content)
    print(f"=== {model}: {tin} in, {tout} out")

Le tableau ci-dessous montre le même exemple, cinq requêtes de 600 tokens en entrée et 300 en sortie, sur tous les modèles dont nous disposons, avec OpenRouter à côté pour référence. L'entrée et la sortie sont comptées ensemble, et le total est inférieur à celui d'OpenRouter sur chaque ligne.

Un modèle qui obtient 9 sur 10 pour une fraction du coût bat un modèle qui obtient 10 sur 10 à plusieurs fois le prix, et vous pouvez maintenant voir dans quel cas vous êtes. La page de tarifs contient les chiffres à jour pour le reste des modèles, et la page DeepSeek couvre les réponses longues (jusqu'à 32 768 tokens de sortie) si vos prompts nécessitent une sortie étape par étape.

Que mettre dans vos cinq prompts#

Les cinq bons dépendent de ce que vous construisez. Choisissez votre cas.

Une fois les chiffres en main, How to choose an AI model aide pour le reste de la décision : taille du contexte, longueur de sortie, et que faire quand deux modèles sont à égalité.