Paano basahin ang isang AI benchmark: MTGBench at isang 5-prompt na pagsubok

Bubuksan mo ang isang leaderboard, makikita mo ang model A sa itaas ng model B, at pipiliin mo ang A. Tapos nadadapa ang A sa gawain mo at hindi ang B. Walang sira: ang ranggo ay average sa mga gawain ng iba, at ang gawain mo ay maaaring hindi kamukha ng kanila. Maliit lang ang solusyon. Kumuha ng lima sa sarili mong prompt, patakbuhin ang mga ito sa dalawang model, basahin ang mga sagot at ihambing ang gastos ng bawat isa kada gawain. Ipinapakita ng natitirang bahagi ng pahinang ito kung bakit gumagana iyon, gamit ang isang bagong papel bilang halimbawa, at binibigay sa iyo ang script.

Bakit ang ranggo ay hindi hatol#

Ang papel ay MTGBench: A Multi-Turn Game Benchmark for Diverse LLM Capability Assessment, na inilathala sa Findings of EMNLP 2026 (sinuri noong 29 Oktubre 2026). Sinuri ng mga may-akda nito ang 16 frontier model sa pitong laro, at isa sa kanilang pangunahing natuklasan ay ang mga ranggo ng modelo ay lubos na nakadepende sa gawain. Lumipat ka sa ibang laro at magbabago ang pagkakasunod-sunod.

Ngayon isipin ang isang leaderboard na may isang average sa tuktok. Itinatago ng average ang mga laro. Kung ang gawain mo ay kamukha ng mga larong magaling ang isang modelo, panalo ka. Kung hindi, ang numerong binasa mo ay tungkol sa ibang bagay.

Ano ang pitong laro#

Ang mga laro ay Word Chain, Wordle, 20 Questions, Wheel of Fortune, Situation Puzzles, 20 Features at Alias (mga pangalan mula sa project README sa GitHub, sinuri noong 29 Oktubre 2026). Ang mga ito ay multi-turn: hindi sumasagot nang isang beses ang modelo, naglalaro ito. Hula, makakuha ng feedback, hula muli. Ang Wordle ang madaling larawan: nagmumungkahi ka ng salita, natututunan kung aling mga letra ang tugma, at subukan muli.

Dalawang bagay sa disenyo ang sulit kopyahin sa sarili mong pagsubok.

Una, sino ang nagche-check ng sagot. Apat na laro ang isiniskor ng ordinaryong code. Ang tatlo pa ay gumagamit ng constrained LLM bilang tagapagpatupad ng panuntunan, at pinatunayan ito ng mga may-akda laban sa mga human annotator. Laging may isang tao na dapat magpasya kung ano ang maituturing na tama. Sa mini-test mo, ikaw ang taong iyon.

Pangalawa, wika. Ang suite ay bilingual, Ingles at Ruso, at ang mga episode ay ginawa nang native sa bawat wika, hindi isinalin. Nangolekta rin ang mga may-akda ng human baseline, 476 na sesyon, na iniulat para sa Ruso. Ang buod nila: ang pinakamalakas na modelong may reasoning ay tumutugma o lumalampas sa baseline na iyon sa buong suite.

Ano ang hindi masasabi ng iskor#

Hindi nito masasabi kung paano magtanong. Inihahambing ng MTGBench ang tatlong setup: answer-only (ang default), chain-of-thought at native reasoning. Iniulat ng mga may-akda na ang CoT ay halos kailangan para sa mga larong letra-level ngunit hindi pantay ang pakinabang sa mga knowledge-driven. Kaya ang parehong modelo ay mukhang iba depende sa kung paano ito tinanong. Kapag nagsubok ka, subukan ang pinakamahirap na prompt mo sa dalawang paraan.

Hindi nito masasabi ang gastos ng pag-iisip. Ang pag-iisip nang malakas ay tekstong isinusulat ng modelo, at ang nakasulat na teksto ay output, ang mas mahal na bahagi ng bill (higit pa sa Input vs output tokens at Reasoning effort and thinking tokens). Sabihin nating ang prompt na 600 token ay nakakakuha ng 100-token na sagot nang walang CoT at 600-token na sagot kapag mayroon. Sa DeepSeek-V4-Flash, iyon ay $0.000019 laban sa $0.000069 kada request. Maliit na pera, hanggang sa magpadala ka ng libu-libong request kada araw.

Hindi nito masasabi ang tungkol sa wika mo. Ginagawa ng MTGBench ang mga episode nito nang native sa Ingles at Ruso sa halip na isalin, na isang pahiwatig na mismo: bahagi ng gawain ang wika. Kung nagsusulat ang mga user mo sa Ruso, ilagay ang mga Rusong prompt sa lima mo.

Patakbuhin ang 5-prompt na pagsubok#

Ang API ay OpenAI-compatible, kaya isang script ang nagpapatakbo ng kahit anong modelo at ang model id lang ang nagbabago (ang mga id ay nasa docs).

import os
from openai import OpenAI

client = OpenAI(
    base_url="https://api.cheaptokens.dev/v1",
    api_key=os.environ["CHEAPTOKENS_API_KEY"],
)
models = ["deepseek-ai/DeepSeek-V4-Flash-0731", "zai-org/GLM-5.3-Flash"]
prompts = [open(f"prompts/{i}.txt").read() for i in range(1, 6)]

for model in models:
    tin = tout = 0
    for i, prompt in enumerate(prompts, 1):
        r = client.chat.completions.create(
            model=model,
            messages=[{"role": "user", "content": prompt}],
            max_tokens=2000,
        )
        tin += r.usage.prompt_tokens
        tout += r.usage.completion_tokens
        print(f"--- {model} / prompt {i} / {r.choices[0].finish_reason}")
        print(r.choices[0].message.content)
    print(f"=== {model}: {tin} in, {tout} out")

Ipinapakita ng talahanayan sa ibaba ang parehong halimbawa, limang request na 600 token in at 300 out, sa bawat modelong mayroon kami, kasama ang OpenRouter sa tabi nito bilang sanggunian. Binibilang nang magkasama ang input at output, at ang kabuuan ay mas mababa kaysa sa OpenRouter sa bawat hilera.

Ang modelong nakakakuha ng 9 sa 10 sa maliit na bahagi ng gastos ay tinatalo ang isang nakakakuha ng 10 sa 10 sa ilang beses ang presyo, at ngayon makikita mo kung aling kaso ka. Ang pricing page ay may live na numero para sa iba pang modelo, at ang DeepSeek page ay sumasaklaw sa mahahabang sagot (hanggang 32,768 output token) kung kailangan ng mga prompt mo ang step-by-step na output.

Ano ang ilalagay sa limang prompt mo#

Ang tamang lima ay depende sa ginagawa mo. Piliin ang kaso mo.

Kapag nasa na ang mga numero, tinutulungan ka ng How to choose an AI model sa natitirang bahagi ng desisyon: laki ng context, haba ng output, at ano ang gagawin kapag tabla ang dalawang modelo.