Cara membaca benchmark AI: MTGBench dan tes 5-prompt

Anda membuka papan peringkat, melihat model A di atas model B, dan memilih A. Lalu A tersandung pada tugas Anda dan B tidak. Tidak ada yang rusak: peringkat adalah rata-rata atas tugas orang lain, dan tugas Anda mungkin tidak terlihat seperti tugas mereka. Perbaikannya kecil. Ambil lima prompt Anda sendiri, jalankan pada dua model, baca jawabannya dan bandingkan berapa biaya masing-masing per tugas. Sisa halaman ini menunjukkan mengapa itu berhasil, menggunakan makalah baru sebagai contoh, dan memberi Anda skripnya.

Mengapa peringkat bukan vonis#

Makalahnya adalah MTGBench: A Multi-Turn Game Benchmark for Diverse LLM Capability Assessment, diterbitkan di Findings of EMNLP 2026 (diperiksa 29 Oktober 2026). Penulisnya mengevaluasi 16 model frontier pada tujuh permainan, dan salah satu temuan utama mereka adalah bahwa peringkat model sangat bergantung pada tugas. Pindah ke permainan lain dan urutannya bergeser.

Sekarang pikirkan papan peringkat dengan satu rata-rata di atas. Rata-rata menyembunyikan permainannya. Jika tugas Anda mirip dengan permainan yang dikuasai suatu model, Anda menang. Jika tidak, angka yang Anda baca adalah tentang hal lain.

Apa itu tujuh permainan#

Permainannya adalah Word Chain, Wordle, 20 Questions, Wheel of Fortune, Situation Puzzles, 20 Features dan Alias (nama dari README proyek di GitHub, diperiksa 29 Oktober 2026). Semuanya multi-turn: model tidak menjawab sekali, ia bermain. Tebak, dapat umpan balik, tebak lagi. Wordle adalah gambaran mudahnya: Anda mengusulkan kata, mengetahui huruf mana yang cocok, dan mencoba lagi.

Dua hal dalam desainnya layak ditiru dalam tes Anda sendiri.

Pertama, siapa yang memeriksa jawaban. Empat permainan dinilai oleh kode biasa. Tiga lainnya menggunakan LLM yang dibatasi sebagai penegak aturan, dan penulis memvalidasinya terhadap anotator manusia. Seseorang selalu harus memutuskan apa yang dianggap benar. Dalam mini-tes Anda, orang itu adalah Anda.

Kedua, bahasa. Rangkaian ini bilingual, Inggris dan Rusia, dan episodenya dihasilkan secara native dalam masing-masing bahasa, bukan diterjemahkan. Penulis juga mengumpulkan baseline manusia, 476 sesi, dilaporkan untuk bahasa Rusia. Ringkasan mereka: model terkuat yang mendukung penalaran menyamai atau melampaui baseline tersebut di seluruh rangkaian.

Apa yang tidak bisa diberitahu oleh skor#

Ia tidak bisa memberi tahu Anda cara bertanya. MTGBench membandingkan tiga pengaturan: answer-only (default), chain-of-thought dan native reasoning. Penulis melaporkan bahwa CoT hampir esensial untuk permainan tingkat huruf tetapi memberikan keuntungan yang tidak merata pada permainan berbasis pengetahuan. Jadi model yang sama terlihat berbeda tergantung bagaimana ia ditanya. Saat menguji, coba prompt tersulit Anda dengan kedua cara.

Ia tidak bisa memberi tahu Anda biaya berpikir. Berpikir keras adalah teks yang ditulis model, dan teks tertulis adalah output, sisi tagihan yang lebih mahal (lebih lanjut di Input vs output tokens dan Reasoning effort and thinking tokens). Katakanlah prompt 600 token mendapat jawaban 100 token tanpa CoT dan jawaban 600 token dengannya. Pada DeepSeek-V4-Flash itu adalah $0.000019 versus $0.000069 per permintaan. Uang kecil, sampai Anda mengirim ribuan permintaan sehari.

Ia tidak bisa memberi tahu Anda tentang bahasa Anda. MTGBench membangun episodenya secara native dalam bahasa Inggris dan Rusia alih-alih menerjemahkan, yang merupakan petunjuk tersendiri: bahasa adalah bagian dari tugas. Jika pengguna Anda menulis dalam bahasa Rusia, masukkan prompt bahasa Rusia ke dalam lima prompt Anda.

Jalankan tes 5-prompt#

API-nya kompatibel dengan OpenAI, jadi satu skrip menjalankan model apa pun dan hanya id model yang berubah (id ada di dokumentasi).

import os
from openai import OpenAI

client = OpenAI(
    base_url="https://api.cheaptokens.dev/v1",
    api_key=os.environ["CHEAPTOKENS_API_KEY"],
)
models = ["deepseek-ai/DeepSeek-V4-Flash-0731", "zai-org/GLM-5.3-Flash"]
prompts = [open(f"prompts/{i}.txt").read() for i in range(1, 6)]

for model in models:
    tin = tout = 0
    for i, prompt in enumerate(prompts, 1):
        r = client.chat.completions.create(
            model=model,
            messages=[{"role": "user", "content": prompt}],
            max_tokens=2000,
        )
        tin += r.usage.prompt_tokens
        tout += r.usage.completion_tokens
        print(f"--- {model} / prompt {i} / {r.choices[0].finish_reason}")
        print(r.choices[0].message.content)
    print(f"=== {model}: {tin} in, {tout} out")

Tabel di bawah menunjukkan contoh yang sama, lima permintaan 600 token masuk dan 300 keluar, pada setiap model yang kami miliki, dengan OpenRouter di sebelahnya sebagai referensi. Input dan output dihitung bersama, dan totalnya lebih rendah daripada OpenRouter pada setiap baris.

Model yang mencetak 9 dari 10 dengan sebagian kecil biaya mengalahkan model yang mencetak 10 dari 10 dengan beberapa kali harga, dan sekarang Anda bisa melihat kasus mana yang Anda hadapi. Halaman harga memiliki angka langsung untuk model lainnya, dan halaman DeepSeek mencakup jawaban panjang (hingga 32.768 token output) jika prompt Anda memerlukan output langkah demi langkah.

Apa yang harus dimasukkan ke dalam lima prompt Anda#

Lima yang tepat bergantung pada apa yang Anda bangun. Pilih kasus Anda.

Saat angkanya sudah masuk, How to choose an AI model membantu dengan sisa keputusan: ukuran konteks, panjang output, dan apa yang harus dilakukan ketika dua model seri.