Bir AI kıyaslaması nasıl okunur: MTGBench ve 5 istemli test

Bir liderlik tablosu açıp model A'yı model B'nin üstünde görürsünüz ve A'yı seçersiniz. Sonra A sizin görevinizde tökezler, B tökezlemez. Hiçbir şey bozuk değildir: bir sıralama, başkasının görevleri üzerinden alınmış bir ortalamadır ve sizin göreviniz onlarınkine benzemeyebilir. Çözüm küçüktür. Kendi istemlerinizden beşini alın, iki modelde çalıştırın, yanıtları okuyun ve her birinin görev başına maliyetini karşılaştırın. Bu sayfanın geri kalanı, taze bir makaleyi örnek alarak bunun neden işe yaradığını gösterir ve size betiği verir.

Bir sıralama neden bir hüküm değildir#

Makale, MTGBench: A Multi-Turn Game Benchmark for Diverse LLM Capability Assessment başlıklı çalışmadır ve Findings of EMNLP 2026'da yayımlanmıştır (29 Ekim 2026'da kontrol edildi). Yazarları 16 öncü modeli yedi oyun üzerinde değerlendirmiş ve ana bulgularından biri, model sıralamalarının göreve büyük ölçüde bağlı olduğudur. Farklı bir oyuna geçin, sıra değişir.

Şimdi tepesinde tek bir ortalama bulunan bir liderlik tablosu düşünün. Ortalama, oyunları gizler. Göreviniz bir modelin iyi olduğu oyunlara benziyorsa kazanırsınız. Benzemiyorsa, okuduğunuz sayı başka bir şeyle ilgiliydi.

Yedi oyun nedir#

Oyunlar Word Chain, Wordle, 20 Questions, Wheel of Fortune, Situation Puzzles, 20 Features ve Alias'tır (adlar GitHub'daki proje README'sinden alınmıştır, 29 Ekim 2026'da kontrol edildi). Çok turludurlar: model bir kez yanıt vermez, oynar. Tahmin et, geri bildirim al, tekrar tahmin et. Wordle kolay resimdir: bir kelime önerirsiniz, hangi harflerin uyduğunu öğrenirsiniz ve tekrar denersiniz.

Tasarımdaki iki şey kendi testinizde kopyalamaya değer.

Birincisi, yanıtı kimin kontrol ettiği. Dört oyun sıradan kodla puanlanır. Diğer üçü kural uygulayıcı olarak kısıtlanmış bir LLM kullanır ve yazarlar bunu insan açıklayıcılara karşı doğrulamıştır. Her zaman birinin neyin doğru sayılacağına karar vermesi gerekir. Mini testinizde bu kişi sizsiniz.

İkincisi, dil. Paket iki dillidir, İngilizce ve Rusça, ve bölümler her dilde çeviriyle değil, doğal olarak üretilmiştir. Yazarlar ayrıca bir insan temel çizgisi toplamıştır, Rusça için raporlanan 476 oturum. Özetleri: akıl yürütme etkin en güçlü modeller paket genelinde bu temel çizgiye ulaşır veya onu aşar.

Bir puan size neyi söyleyemez#

Nasıl soracağınızı söyleyemez. MTGBench üç kurulumu karşılaştırır: answer-only (varsayılan), chain-of-thought ve native reasoning. Yazarlar CoT'nin harf düzeyindeki oyunlar için neredeyse vazgeçilmez olduğunu, ancak bilgi odaklı oyunlarda düzensiz kazançlar sağladığını bildirir. Yani aynı model, nasıl sorulduğuna bağlı olarak farklı görünür. Test ederken en zor isteminizi iki şekilde de deneyin.

Düşünmenin maliyetini söyleyemez. Yüksek sesle düşünmek, modelin yazdığı metindir ve yazılan metin çıktıdır, faturanın daha pahalı tarafıdır (daha fazlası Girdi ve çıktı tokenları ve Akıl yürütme eforu ve düşünme tokenları yazılarında). Diyelim ki 600 tokenlık bir istem, CoT olmadan 100 tokenlık, CoT ile 600 tokenlık bir yanıt alıyor. DeepSeek-V4-Flash'te bu, istek başına $0.000019 ile $0.000069 arasındaki farktır. Günde binlerce istek göndermeye başlayana kadar küçük para.

Diliniz hakkında size bir şey söyleyemez. MTGBench bölümlerini çevirmek yerine İngilizce ve Rusça olarak doğal biçimde oluşturur, bu da kendi başına bir ipucudur: dil, görevin bir parçasıdır. Kullanıcılarınız Rusça yazıyorsa beşinize Rusça istemler koyun.

5 istemli testi çalıştırın#

API OpenAI uyumludur, dolayısıyla tek bir betik herhangi bir modeli çalıştırır ve yalnızca model kimliği değişir (kimlikler dokümanlarda bulunur).

import os
from openai import OpenAI

client = OpenAI(
    base_url="https://api.cheaptokens.dev/v1",
    api_key=os.environ["CHEAPTOKENS_API_KEY"],
)
models = ["deepseek-ai/DeepSeek-V4-Flash-0731", "zai-org/GLM-5.3-Flash"]
prompts = [open(f"prompts/{i}.txt").read() for i in range(1, 6)]

for model in models:
    tin = tout = 0
    for i, prompt in enumerate(prompts, 1):
        r = client.chat.completions.create(
            model=model,
            messages=[{"role": "user", "content": prompt}],
            max_tokens=2000,
        )
        tin += r.usage.prompt_tokens
        tout += r.usage.completion_tokens
        print(f"--- {model} / prompt {i} / {r.choices[0].finish_reason}")
        print(r.choices[0].message.content)
    print(f"=== {model}: {tin} in, {tout} out")

Aşağıdaki tablo aynı örneği gösterir: 600 token girdi ve 300 çıktıdan oluşan beş istek, sahip olduğumuz her modelde, referans olarak yanında OpenRouter ile. Girdi ve çıktı birlikte sayılır ve toplam her satırda OpenRouter'ınkinden düşüktür.

Maliyetin çok küçük bir kısmıyla 10 üzerinden 9 alan bir model, birkaç kat fiyata 10 üzerinden 10 alan bir modeli yener ve artık hangi durumda olduğunuzu görebilirsiniz. Fiyatlandırma sayfası diğer modeller için güncel sayıları içerir ve DeepSeek sayfası istemleriniz adım adım çıktı gerektiriyorsa uzun yanıtları (32.768 çıktı tokenına kadar) kapsar.

Beş isteminize ne koymalı#

Doğru beş, ne inşa ettiğinize bağlıdır. Durumunuzu seçin.

Sayılar geldiğinde, Bir AI modeli nasıl seçilir kararın geri kalanına yardımcı olur: bağlam boyutu, çıktı uzunluğu ve iki model berabere kaldığında ne yapılacağı.