Cómo leer un benchmark de IA: MTGBench y una prueba de 5 prompts

Abres una tabla de clasificación, ves el modelo A por encima del modelo B y eliges A. Luego A tropieza con tu tarea y B no. No hay nada roto: un puesto es una media sobre las tareas de otra persona, y tu tarea puede no parecerse a las suyas. La solución es pequeña. Toma cinco de tus propios prompts, ejecútalos en dos modelos, lee las respuestas y compara cuánto costó cada uno por tarea. El resto de esta página muestra por qué funciona eso, usando un artículo reciente como ejemplo, y te da el script.

Por qué un puesto no es un veredicto#

El artículo es MTGBench: A Multi-Turn Game Benchmark for Diverse LLM Capability Assessment, publicado en Findings of EMNLP 2026 (consultado el 29 de octubre de 2026). Sus autores evaluaron 16 modelos de frontera en siete juegos, y uno de sus hallazgos principales es que las clasificaciones de los modelos dependen en gran medida de la tarea. Cambia a otro juego y el orden se desplaza.

Ahora piensa en una tabla de clasificación con una única media en la cima. La media oculta los juegos. Si tu tarea se parece a los juegos en los que un modelo es bueno, ganas. Si no, el número que leíste trataba de otra cosa.

Cuáles son los siete juegos#

Los juegos son Word Chain, Wordle, 20 Questions, Wheel of Fortune, Situation Puzzles, 20 Features y Alias (nombres del README del proyecto en GitHub, consultado el 29 de octubre de 2026). Son de varios turnos: el modelo no responde una vez, juega. Adivina, recibe retroalimentación, vuelve a adivinar. Wordle es la imagen fácil: propones una palabra, descubres qué letras encajan y lo intentas de nuevo.

Dos cosas del diseño merecen copiarse en tu propia prueba.

Primero, quién comprueba la respuesta. Cuatro juegos se puntúan con código normal. Los otros tres usan un LLM restringido como aplicador de reglas, y los autores lo validaron contra anotadores humanos. Siempre tiene que haber alguien que decida qué cuenta como correcto. En tu mini-prueba, ese alguien eres tú.

Segundo, el idioma. La suite es bilingüe, inglés y ruso, y los episodios se generaron de forma nativa en cada idioma, no traducidos. Los autores también recopilaron una línea base humana, 476 sesiones, reportada para el ruso. Su resumen: los modelos más potentes con razonamiento igualan o superan esa línea base en toda la suite.

Lo que una puntuación no puede decirte#

No puede decirte cómo preguntar. MTGBench compara tres configuraciones: answer-only (la predeterminada), chain-of-thought y native reasoning. Los autores informan que CoT es casi esencial para los juegos a nivel de letras pero da ganancias desiguales en los basados en conocimiento. Así que el mismo modelo se ve distinto según cómo se le preguntó. Cuando pruebes, prueba tu prompt más difícil de ambas formas.

No puede decirte el coste de pensar. Pensar en voz alta es texto que escribe el modelo, y el texto escrito es salida, el lado más caro de la factura (más en Input vs output tokens y Reasoning effort and thinking tokens). Digamos que un prompt de 600 tokens obtiene una respuesta de 100 tokens sin CoT y una de 600 tokens con él. En DeepSeek-V4-Flash eso es $0.000019 frente a $0.000069 por solicitud. Poco dinero, hasta que envías miles de solicitudes al día.

No puede decirte nada sobre tu idioma. MTGBench construye sus episodios de forma nativa en inglés y en ruso en lugar de traducirlos, lo cual es una pista en sí misma: el idioma es parte de la tarea. Si tus usuarios escriben en ruso, pon prompts en ruso entre tus cinco.

Ejecuta la prueba de 5 prompts#

La API es compatible con OpenAI, así que un script ejecuta cualquier modelo y solo cambia el id del modelo (los ids están en la documentación).

import os
from openai import OpenAI

client = OpenAI(
    base_url="https://api.cheaptokens.dev/v1",
    api_key=os.environ["CHEAPTOKENS_API_KEY"],
)
models = ["deepseek-ai/DeepSeek-V4-Flash-0731", "zai-org/GLM-5.3-Flash"]
prompts = [open(f"prompts/{i}.txt").read() for i in range(1, 6)]

for model in models:
    tin = tout = 0
    for i, prompt in enumerate(prompts, 1):
        r = client.chat.completions.create(
            model=model,
            messages=[{"role": "user", "content": prompt}],
            max_tokens=2000,
        )
        tin += r.usage.prompt_tokens
        tout += r.usage.completion_tokens
        print(f"--- {model} / prompt {i} / {r.choices[0].finish_reason}")
        print(r.choices[0].message.content)
    print(f"=== {model}: {tin} in, {tout} out")

La tabla de abajo muestra el mismo ejemplo, cinco solicitudes de 600 tokens de entrada y 300 de salida, en todos los modelos que tenemos, con OpenRouter al lado como referencia. La entrada y la salida se cuentan juntas, y el total es menor que el de OpenRouter en cada fila.

Un modelo que puntúa 9 de 10 a una fracción del coste supera a uno que puntúa 10 de 10 a varias veces el precio, y ahora puedes ver en qué caso estás. La página de precios tiene los números en vivo para el resto de los modelos, y la página de DeepSeek cubre respuestas largas (hasta 32.768 tokens de salida) si tus prompts necesitan salida paso a paso.

Qué poner en tus cinco prompts#

Los cinco correctos dependen de lo que construyas. Elige tu caso.

Cuando tengas los números, Cómo elegir un modelo de IA ayuda con el resto de la decisión: tamaño del contexto, longitud de salida y qué hacer cuando dos modelos empatan.