Як читати бенчмарк ШІ: MTGBench і тест із 5 запитів

Ви відкриваєте таблицю лідерів, бачите модель A вище за модель B і обираєте A. Потім A спотикається на вашому завданні, а B — ні. Нічого не зламано: рейтинг — це середнє за чужими завданнями, і ваше завдання може бути не схожим на них. Виправлення просте. Візьміть п'ять власних запитів, запустіть їх на двох моделях, прочитайте відповіді та порівняйте, скільки коштувало кожне завдання. Решта цієї сторінки показує, чому це працює, на прикладі свіжої статті, і дає вам скрипт.

Чому рейтинг — це не вирок#

Стаття — MTGBench: A Multi-Turn Game Benchmark for Diverse LLM Capability Assessment, опублікована в Findings of EMNLP 2026 (перевірено 29 жовтня 2026). Її автори оцінили 16 передових моделей на семи іграх, і один із їхніх головних висновків полягає в тому, що рейтинги моделей сильно залежать від завдання. Перейдіть до іншої гри — і порядок змінюється.

Тепер подумайте про таблицю лідерів з єдиним середнім на вершині. Середнє приховує ігри. Якщо ваше завдання схоже на ігри, у яких модель сильна, ви виграєте. Якщо ні — число, яке ви прочитали, стосувалося чогось іншого.

Що це за сім ігор#

Ігри — це Word Chain, Wordle, 20 Questions, Wheel of Fortune, Situation Puzzles, 20 Features і Alias (назви з README проєкту на GitHub, перевірено 29 жовтня 2026). Вони багатоходові: модель не відповідає один раз, вона грає. Вгадує, отримує зворотний зв'язок, вгадує знову. Wordle — проста картинка: ви пропонуєте слово, дізнаєтеся, які літери підходять, і пробуєте знову.

Дві речі в дизайні варто скопіювати у власному тесті.

По-перше, хто перевіряє відповідь. Чотири гри оцінюються звичайним кодом. Інші три використовують обмежену LLM як арбітра правил, і автори перевірили її проти людських анотаторів. Хтось завжди має вирішувати, що вважається правильним. У вашому міні-тесті цей хтось — ви.

По-друге, мова. Набір двомовний, англійська та російська, і епізоди були згенеровані рідною мовою кожної, а не перекладені. Автори також зібрали людську базову лінію, 476 сесій, наведену для російської. Їхній підсумок: найсильніші моделі з підтримкою міркування зрівнюються з цією базовою лінією або перевершують її в усьому наборі.

Чого оцінка не може вам сказати#

Вона не може сказати, як запитувати. MTGBench порівнює три налаштування: лише відповідь (за замовчуванням), ланцюжок міркувань і вроджене міркування. Автори повідомляють, що CoT майже необхідний для ігор на рівні літер, але дає нерівномірні переваги в іграх, заснованих на знаннях. Тож та сама модель виглядає по-різному залежно від того, як її запитали. Коли тестуєте, спробуйте свій найскладніший запит обома способами.

Вона не може сказати вам вартість міркування. Міркування вголос — це текст, який пише модель, а написаний текст — це вивід, дорожчий бік рахунку (докладніше в Input vs output tokens і Reasoning effort and thinking tokens). Скажімо, запит на 600 токенів отримує відповідь на 100 токенів без CoT і відповідь на 600 токенів з ним. На DeepSeek-V4-Flash це $0.000019 проти $0.000069 за запит. Дрібні гроші, поки ви не надсилаєте тисячі запитів на день.

Вона не може сказати вам про вашу мову. MTGBench будує свої епізоди рідною мовою англійською та російською, а не перекладає, що саме по собі є підказкою: мова — частина завдання. Якщо ваші користувачі пишуть російською, додайте російські запити у свої п'ять.

Запустіть тест із 5 запитів#

API сумісний з OpenAI, тож один скрипт запускає будь-яку модель, і змінюється лише ідентифікатор моделі (ідентифікатори є в документації).

import os
from openai import OpenAI

client = OpenAI(
    base_url="https://api.cheaptokens.dev/v1",
    api_key=os.environ["CHEAPTOKENS_API_KEY"],
)
models = ["deepseek-ai/DeepSeek-V4-Flash-0731", "zai-org/GLM-5.3-Flash"]
prompts = [open(f"prompts/{i}.txt").read() for i in range(1, 6)]

for model in models:
    tin = tout = 0
    for i, prompt in enumerate(prompts, 1):
        r = client.chat.completions.create(
            model=model,
            messages=[{"role": "user", "content": prompt}],
            max_tokens=2000,
        )
        tin += r.usage.prompt_tokens
        tout += r.usage.completion_tokens
        print(f"--- {model} / prompt {i} / {r.choices[0].finish_reason}")
        print(r.choices[0].message.content)
    print(f"=== {model}: {tin} in, {tout} out")

Таблиця нижче показує той самий приклад, п'ять запитів по 600 токенів на вході та 300 на виході, на кожній моделі, яку ми маємо, з OpenRouter поруч для довідки. Вхід і вихід рахуються разом, і підсумок нижчий за OpenRouter у кожному рядку.

Модель, яка набирає 9 з 10 за частку вартості, перевершує ту, що набирає 10 з 10 за кількаразовою ціною, і тепер ви бачите, у якому випадку ви. На сторінці цін є актуальні цифри для решти моделей, а сторінка DeepSeek охоплює довгі відповіді (до 32 768 вихідних токенів), якщо вашим запитам потрібен покроковий вивід.

Що покласти у свої п'ять запитів#

Правильні п'ять залежать від того, що ви будуєте. Виберіть свій випадок.

Коли цифри зібрано, How to choose an AI model допоможе з рештою рішення: розмір контексту, довжина виводу та що робити, коли дві моделі рівні.