Como ler um benchmark de IA: MTGBench e um teste de 5 prompts

Você abre um leaderboard, vê o modelo A acima do modelo B e escolhe o A. Aí o A tropeça na sua tarefa e o B não. Nada está quebrado: um ranking é uma média sobre as tarefas de outra pessoa, e a sua tarefa pode não se parecer com as delas. A correção é pequena. Pegue cinco prompts seus, rode nos dois modelos, leia as respostas e compare quanto cada um custou por tarefa. O resto desta página mostra por que isso funciona, usando um paper recente como exemplo, e entrega o script.

Por que um ranking não é um veredito#

O paper é MTGBench: A Multi-Turn Game Benchmark for Diverse LLM Capability Assessment, publicado em Findings of EMNLP 2026 (verificado em 29 de outubro de 2026). Os autores avaliaram 16 modelos de fronteira em sete jogos, e uma das principais conclusões é que os rankings dos modelos dependem fortemente da tarefa. Mude para outro jogo e a ordem muda.

Agora pense num leaderboard com uma única média no topo. A média esconde os jogos. Se a sua tarefa se parece com os jogos em que um modelo é bom, você ganha. Se não, o número que você leu era sobre outra coisa.

Quais são os sete jogos#

Os jogos são Word Chain, Wordle, 20 Questions, Wheel of Fortune, Situation Puzzles, 20 Features e Alias (nomes do README do projeto no GitHub, verificado em 29 de outubro de 2026). Eles são multi-turno: o modelo não responde uma vez, ele joga. Chuta, recebe feedback, chuta de novo. Wordle é a imagem fácil: você propõe uma palavra, descobre quais letras encaixam e tenta de novo.

Duas coisas no design valem a pena copiar no seu próprio teste.

Primeiro, quem confere a resposta. Quatro jogos são pontuados por código comum. Os outros três usam um LLM restrito como aplicador de regras, e os autores o validaram contra anotadores humanos. Sempre tem alguém que precisa decidir o que conta como correto. No seu mini-teste, esse alguém é você.

Segundo, idioma. A suíte é bilíngue, inglês e russo, e os episódios foram gerados nativamente em cada idioma, não traduzidos. Os autores também coletaram uma linha de base humana, 476 sessões, reportada para o russo. O resumo deles: os modelos mais fortes com raciocínio habilitado igualam ou superam essa linha de base em toda a suíte.

O que uma pontuação não pode te dizer#

Não pode te dizer como perguntar. O MTGBench compara três configurações: answer-only (o padrão), chain-of-thought e raciocínio nativo. Os autores relatam que o CoT é quase essencial para jogos de nível de letra, mas dá ganhos irregulares nos jogos baseados em conhecimento. Então o mesmo modelo parece diferente dependendo de como foi perguntado. No seu teste, tente o seu prompt mais difícil das duas formas.

Não pode te dizer o custo de pensar. Pensar em voz alta é texto que o modelo escreve, e texto escrito é saída, o lado mais caro da conta (mais em Input vs output tokens e Reasoning effort and thinking tokens). Digamos que um prompt de 600 tokens receba uma resposta de 100 tokens sem CoT e uma resposta de 600 tokens com ele. No DeepSeek-V4-Flash isso é $0.000019 contra $0.000069 por requisição. Pouco dinheiro, até você enviar milhares de requisições por dia.

Não pode te dizer sobre o seu idioma. O MTGBench constrói seus episódios nativamente em inglês e em russo em vez de traduzir, o que já é uma dica: o idioma faz parte da tarefa. Se seus usuários escrevem em russo, coloque prompts em russo nos seus cinco.

Rode o teste de 5 prompts#

A API é compatível com OpenAI, então um script roda qualquer modelo e só o id do modelo muda (os ids estão na documentação).

import os
from openai import OpenAI

client = OpenAI(
    base_url="https://api.cheaptokens.dev/v1",
    api_key=os.environ["CHEAPTOKENS_API_KEY"],
)
models = ["deepseek-ai/DeepSeek-V4-Flash-0731", "zai-org/GLM-5.3-Flash"]
prompts = [open(f"prompts/{i}.txt").read() for i in range(1, 6)]

for model in models:
    tin = tout = 0
    for i, prompt in enumerate(prompts, 1):
        r = client.chat.completions.create(
            model=model,
            messages=[{"role": "user", "content": prompt}],
            max_tokens=2000,
        )
        tin += r.usage.prompt_tokens
        tout += r.usage.completion_tokens
        print(f"--- {model} / prompt {i} / {r.choices[0].finish_reason}")
        print(r.choices[0].message.content)
    print(f"=== {model}: {tin} in, {tout} out")

A tabela abaixo mostra o mesmo exemplo, cinco requisições de 600 tokens de entrada e 300 de saída, em todos os modelos que temos, com o OpenRouter ao lado para referência. Entrada e saída são contadas juntas, e o total é menor que o do OpenRouter em cada linha.

Um modelo que pontua 9 de 10 por uma fração do custo vence um que pontua 10 de 10 por várias vezes o preço, e agora você consegue ver em qual caso está. A página de preços tem os números ao vivo para o resto dos modelos, e a página do DeepSeek cobre respostas longas (até 32.768 tokens de saída) se seus prompts precisarem de saída passo a passo.

O que colocar nos seus cinco prompts#

Os cinco certos dependem do que você constrói. Escolha o seu caso.

Quando os números chegarem, Como escolher um modelo de IA ajuda com o resto da decisão: tamanho de contexto, comprimento de saída e o que fazer quando dois modelos empatam.