AI 벤치마크 읽는 법: MTGBench와 5-프롬프트 테스트

리더보드를 열어 모델 A가 모델 B보다 위에 있는 걸 보고 A를 고릅니다. 그런데 막상 여러분의 작업에서는 A가 휘청이고 B는 그렇지 않습니다. 이상한 일이 아닙니다. 순위는 다른 사람의 작업들에 대한 평균이고, 여러분의 작업은 그들의 작업과 닮지 않았을 수 있으니까요. 해결책은 간단합니다. 여러분의 프롬프트 다섯 개를 골라 두 모델에 돌리고, 답변을 읽고, 각 모델이 작업당 얼마를 썼는지 비교하세요. 이 페이지의 나머지는 최신 논문을 예로 들어 왜 그게 통하는지 보여주고, 스크립트를 제공합니다.

순위가 판결이 아닌 이유#

논문은 MTGBench: A Multi-Turn Game Benchmark for Diverse LLM Capability Assessment이며, Findings of EMNLP 2026에 게재되었습니다(2026년 10월 29일 확인). 저자들은 16개 프런티어 모델을 일곱 가지 게임에서 평가했고, 주요 발견 중 하나는 모델 순위가 작업에 크게 의존한다는 것입니다. 다른 게임으로 옮기면 순서가 바뀝니다.

이제 맨 위에 평균 하나만 있는 리더보드를 생각해 보세요. 그 평균은 게임들을 가립니다. 여러분의 작업이 어떤 모델이 잘하는 게임과 비슷하다면 여러분이 이깁니다. 그렇지 않다면, 여러분이 읽은 숫자는 다른 것에 관한 것이었습니다.

일곱 가지 게임이란#

게임은 Word Chain, Wordle, 20 Questions, Wheel of Fortune, Situation Puzzles, 20 Features, Alias입니다(GitHub의 프로젝트 README에서 가져온 이름, 2026년 10월 29일 확인). 모두 멀티턴입니다. 모델은 한 번 답하고 끝나지 않고, 플레이합니다. 추측하고, 피드백을 받고, 다시 추측합니다. Wordle이 쉬운 그림입니다. 단어를 제안하고, 어떤 글자가 맞는지 배우고, 다시 시도합니다.

설계에서 여러분의 테스트에 그대로 가져올 만한 두 가지가 있습니다.

첫째, 누가 답을 검사하는가. 네 게임은 일반 코드로 채점됩니다. 나머지 세 게임은 제약된 LLM을 규칙 집행자로 사용하며, 저자들은 이를 사람 주석자와 대조해 검증했습니다. 항상 누군가는 무엇이 정답인지 결정해야 합니다. 여러분의 미니 테스트에서는 그 누군가가 바로 여러분입니다.

둘째, 언어. 이 스위트는 영어와 러시아어 이중 언어이며, 에피소드는 번역이 아니라 각 언어로 원어 생성되었습니다. 저자들은 또한 사람 기준선 476개 세션을 수집해 러시아어에 대해 보고했습니다. 그들의 요약: 추론이 활성화된 가장 강력한 모델들은 스위트 전반에서 그 기준선에 필적하거나 능가합니다.

점수가 알려주지 못하는 것#

어떻게 물어야 하는지 알려주지 못합니다. MTGBench는 세 가지 설정을 비교합니다: answer-only(기본값), chain-of-thought, native reasoning. 저자들은 CoT가 글자 수준 게임에는 거의 필수적이지만 지식 기반 게임에서는 이득이 고르지 않다고 보고합니다. 즉 같은 모델도 어떻게 물었느냐에 따라 다르게 보입니다. 테스트할 때는 가장 어려운 프롬프트를 두 방식 모두로 시도해 보세요.

생각의 비용을 알려주지 못합니다. 소리 내어 생각하는 것은 모델이 쓰는 텍스트이고, 쓴 텍스트는 출력이며, 청구서에서 더 비싼 쪽입니다(Input vs output tokens와 Reasoning effort and thinking tokens에서 더 다룹니다). 600토큰 프롬프트가 CoT 없이 100토큰 답변을 받고, CoT를 쓰면 600토큰 답변을 받는다고 해봅시다. DeepSeek-V4-Flash에서 요청당 $0.000019 대 $0.000069입니다. 하루에 수천 건의 요청을 보내기 전까지는 작은 돈입니다.

여러분의 언어에 대해 알려주지 못합니다. MTGBench는 번역하는 대신 영어와 러시아어로 에피소드를 원어 생성하는데, 이 자체가 힌트입니다. 언어는 작업의 일부입니다. 사용자가 러시아어로 쓴다면 다섯 개 프롬프트에 러시아어 프롬프트를 넣으세요.

5-프롬프트 테스트 실행하기#

API는 OpenAI 호환이므로, 하나의 스크립트로 어떤 모델이든 실행할 수 있고 모델 id만 바꾸면 됩니다(id는 문서에 있습니다).

import os
from openai import OpenAI

client = OpenAI(
    base_url="https://api.cheaptokens.dev/v1",
    api_key=os.environ["CHEAPTOKENS_API_KEY"],
)
models = ["deepseek-ai/DeepSeek-V4-Flash-0731", "zai-org/GLM-5.3-Flash"]
prompts = [open(f"prompts/{i}.txt").read() for i in range(1, 6)]

for model in models:
    tin = tout = 0
    for i, prompt in enumerate(prompts, 1):
        r = client.chat.completions.create(
            model=model,
            messages=[{"role": "user", "content": prompt}],
            max_tokens=2000,
        )
        tin += r.usage.prompt_tokens
        tout += r.usage.completion_tokens
        print(f"--- {model} / prompt {i} / {r.choices[0].finish_reason}")
        print(r.choices[0].message.content)
    print(f"=== {model}: {tin} in, {tout} out")

아래 표는 같은 예시, 즉 입력 600토큰·출력 300토큰 요청 다섯 건을 저희가 보유한 모든 모델에서 보여주며, 참고로 OpenRouter를 나란히 두었습니다. 입력과 출력은 함께 계산되며, 각 행에서 합계가 OpenRouter보다 낮습니다.

10점 만점에 9점을 받는 모델이 몇 배 비싼 10점 만점 모델을 이깁니다. 이제 여러분이 어느 경우인지 알 수 있습니다. 가격 페이지에 나머지 모델의 실시간 숫자가 있고, DeepSeek 페이지는 프롬프트에 단계별 출력이 필요할 경우 긴 답변(최대 32,768 출력 토큰)을 다룹니다.

다섯 프롬프트에 무엇을 넣을까#

올바른 다섯 개는 무엇을 만드느냐에 달려 있습니다. 여러분의 사례를 고르세요.

숫자가 나오면 How to choose an AI model이 나머지 결정에 도움을 줍니다. 컨텍스트 크기, 출력 길이, 그리고 두 모델이 동점일 때 무엇을 할지입니다.