Как читать бенчмарк ИИ: MTGBench и тест на 5 своих запросах

Вы открываете рейтинг, видите модель A выше модели B и берёте A. А потом A спотыкается на вашей задаче, а B нет. Ничего не сломалось: место в рейтинге — это среднее по чужим задачам, а ваша может на них не походить. Лечится просто. Возьмите пять своих запросов, прогоните их на двух моделях, прочитайте ответы и сравните, сколько каждая обошлась на задачу. Ниже — почему это работает (на примере свежей статьи) и готовый скрипт.

Почему место в рейтинге — не приговор#

Статья называется MTGBench: A Multi-Turn Game Benchmark for Diverse LLM Capability Assessment, она вышла в Findings of EMNLP 2026 (проверено 29 октября 2026). Авторы оценили 16 передовых моделей на семи играх, и один из главных выводов: места моделей сильно зависят от задачи. Меняется игра — меняется порядок.

Теперь представьте рейтинг с одним средним числом наверху. Среднее прячет игры. Если ваша задача похожа на те, где модель сильна, вы выигрываете. Если нет, цифра, которую вы прочитали, была про другое.

Что это за семь игр#

Игры: Word Chain, Wordle, 20 Questions, Wheel of Fortune, Situation Puzzles, 20 Features и Alias (названия — из README проекта на GitHub, проверено 29 октября 2026). Они многоходовые: модель отвечает не один раз, а играет. Догадка, ответ-подсказка, новая догадка. Проще всего представить Wordle: вы называете слово, узнаёте, какие буквы подошли, и пробуете снова.

Две вещи из устройства бенчмарка стоит перенять в своём тесте.

Первое — кто проверяет ответ. Четыре игры оценивает обычный код. В остальных трёх правила проверяет LLM с жёсткими ограничениями, и авторы сверили её с разметкой людей. Кто-то всегда должен решать, что считать верным. В вашем мини-тесте это вы.

Второе — язык. Набор двуязычный, английский и русский, и эпизоды генерировали сразу на каждом языке, а не переводили. Авторы также собрали человеческий базовый уровень: 476 сессий, он приведён для русского. Их вывод: сильнейшие модели с рассуждением догоняют этот уровень или превосходят его по всему набору.

Чего оценка не скажет#

Как спрашивать. MTGBench сравнивает три режима: ответ сразу (по умолчанию), цепочку рассуждений и встроенное рассуждение. Авторы пишут, что CoT почти необходима в играх на уровне букв, а в играх на знания даёт неровный прирост. То есть одна и та же модель выглядит по-разному в зависимости от того, как её спросили. В своём тесте прогоните самый трудный запрос обоими способами.

Сколько стоит думать. Рассуждение вслух — это текст, который пишет модель, а написанный текст — выход, более дорогая сторона счёта (подробнее — в статьях «Входные и выходные токены» и «Reasoning effort и токены рассуждения»). Допустим, на запрос в 600 токенов без CoT приходит ответ в 100 токенов, а с CoT — в 600. На DeepSeek-V4-Flash это $0.000019 против $0.000069 за запрос. Копейки — пока запросов не тысячи в день.

Как модель справится с вашим языком. MTGBench делает эпизоды сразу на английском и на русском, а не переводит, и это подсказка сама по себе: язык — часть задачи. Если ваши пользователи пишут по-русски, пусть в ваших пяти запросах будет русский.

Прогоните тест из 5 запросов#

API совместим с OpenAI, поэтому один скрипт запускает любую модель, меняется только id модели (id — в документации).

import os
from openai import OpenAI

client = OpenAI(
    base_url="https://api.cheaptokens.dev/v1",
    api_key=os.environ["CHEAPTOKENS_API_KEY"],
)
models = ["deepseek-ai/DeepSeek-V4-Flash-0731", "zai-org/GLM-5.3-Flash"]
prompts = [open(f"prompts/{i}.txt").read() for i in range(1, 6)]

for model in models:
    tin = tout = 0
    for i, prompt in enumerate(prompts, 1):
        r = client.chat.completions.create(
            model=model,
            messages=[{"role": "user", "content": prompt}],
            max_tokens=2000,
        )
        tin += r.usage.prompt_tokens
        tout += r.usage.completion_tokens
        print(f"--- {model} / prompt {i} / {r.choices[0].finish_reason}")
        print(r.choices[0].message.content)
    print(f"=== {model}: {tin} in, {tout} out")

Таблица ниже — тот же пример: пять запросов по 600 токенов на входе и 300 на выходе на всех наших моделях, рядом для справки OpenRouter. Вход и выход считаются вместе, и в сумме у нас дешевле, чем у OpenRouter, в каждой строке.

Модель, которая набирает 9 из 10 за долю цены, лучше той, что набирает 10 из 10 в несколько раз дороже, и теперь вы видите, какой у вас случай. Живые цены остальных моделей — на странице цен, а про длинные ответы (до 32 768 токенов на выходе), если нужен пошаговый вывод, — на странице DeepSeek.

Что положить в свои пять запросов#

Правильная пятёрка зависит от того, что вы строите. Выберите свой случай.

Когда цифры собраны, статья «Как выбрать модель ИИ» поможет с остальным решением: размер контекста, длина ответа и что делать, если две модели сыграли вничью.