Bir model turnuvasının API maliyetini çalıştırmadan önce tahmin edin

Bir model turnuvasının faturasını ilk istekten önce bilebilirsiniz: bir koltuğun tüm oyun boyunca gönderdiği tokenları sayın, koltuk ve oyun sayısıyla çarpın ve koda sert bir üst sınır koyun. İnsanların gözden kaçırdığı kısım geçmiş. Her turda o ana kadar söylenen her şey yeniden gönderilir, bu yüzden girdi tur sayısından çok daha hızlı büyür.

20.000 dolarlık bir manşetin size ne söylediği ve söylemediği#

5 Kasım 2026'da podcast yapımcısı Dwarkesh Patel, modellerin birbirine karşı sosyal çıkarım oyunu Blood on the Clocktower oynadığı Clocktower Bench adlı kıyaslamayı yayımladı. Harness'ı kurmak için yaklaşık 20.000 dolarlık API kredisi harcadığını ve bunun büyük kısmının planladığı tokenlardan çok, ortam tasarımı üzerinde iterasyon yapmaya gittiğini söylüyor.

Projenin README dosyası (8 Kasım 2026'da kontrol edildi) kurulumu şöyle anlatıyor: 11 model, manşet sıralaması için 386 oyun, bir model tüm iyi koltukları, bir diğeri tüm kötü koltukları oynuyor, 10–12 oyuncu, saatler süren oyunlar. Her dağıtım taraflar yer değiştirilerek tekrar oynanıyor, böylece hiçbir model daha kolay rolü almıyor. Ayrıca ücretsiz bir deneme çalıştırması (--model random) sunuyor, harcamayı games/ledger.jsonl dosyasına yazıyor ve varsayılanı 1.000 dolar olan bir --budget üst sınırı var.

Vermediği şey oyun başına token sayısı. Yani kopyalayacak bir şey yok; tahmini kendiniz kuruyorsunuz. Bu makalenin geri kalanı da bunu yapıyor, kendi değerlerinizle değiştirebileceğiniz belirtilmiş varsayımlarla.

Tek koltuk: girdi neden sürekli büyüyor#

Daha küçük bir oyun çalıştırdığınızı varsayalım: 6 koltuk, her koltuk kendi konuşmasına sahip bir model, koltuk başına 20 tur. 2.000 tokenlık bir sistem istemi (kurallar ve koltuğun rolü), her turdan önce gelen 600 yeni token masa konuşması ve 300 tokenlık bir yanıt varsayın. API'nin hafızası yok, bu yüzden her istek tüm konuşmayı yeniden taşır (uzun bir sohbet neden daha pahalı).

1. tur 2.000 + 600 = 2.600 token gönderir. 20. tur 2.000 + 600 × 20 + 300 × 19 = 19.700 gönderir. Son sayıyı kendiniz deneyin:

Bir koltuk için 20 turun tamamını toplayın: 2.000 × 20 + 600 × 210 + 300 × 190 = 40.000 + 126.000 + 57.000 = 223.000 girdi tokenı. Çıktı ise yalnızca 20 × 300 = 6.000. Her mesajı bir kez saysaydınız 2.000 + 20 × 600 = 14.000 elde eder ve on altı kat yanılırdınız.

Çıktı tarafı neredeyse hiç değişmiyor. Para girdiye gidiyor ve oyunlar uzadıkça kötüleşen taraf da bu.

Tek koltuktan tüm turnuvaya#

Şimdi bunu üç çarpanla ölçekleyin.

• Koltuklar. 6 koltuk × 223.000 = 1.338.000 girdi tokenı ve oyun başına 6 × 6.000 = 36.000 çıktı tokenı.
• Taraf değişimi. Round robin'de 3 model alın: 3 eşleşme. Her eşleşmede 10 dağıtım oynayın, her biri taraflar yer değiştirilerek iki kez: 3 × 10 × 2 = 60 oyun.
• Oyunlar. Turnuva için 60 × 1.338.000 = 80.280.000 girdi ve 60 × 36.000 = 2.160.000 çıktı tokenı.

DeepSeek-V4-Flash üzerinde bir oyun $0.0237 tutuyor. Aşağıdaki tablo, 60 oyunluk turnuvanın tamamını sanki o tek model her koltuğu oynamış gibi fiyatlandırıyor, böylece CheapTokens'in bu tür uzun konuşmalı işler için sunduğu üç modeli karşılaştırabilirsiniz. Girdi ve çıktı birlikte sayıldığında, toplamda her biri son sütundaki OpenRouter referansından daha ucuz.

Bütçe açısından bütün hile bu: üç modelden hangisinin bir müzakere oyununu daha iyi oynadığını öğrenmek için 20.000 dolarlık bir kaleme ihtiyacınız yok. Yukarıdaki tahmine ve ardından bunu doğrulayacak gerçek bir pilot çalışmaya ihtiyacınız var.

Böyle bir sayıya güvenmeden önce iki kontrol yapın. Birincisi, en büyük istek modelin penceresine sığmalı. 20 turda en büyük istek 19.700 token, sorun yok. Koltuk başına 200 turluk saatler süren bir oyun 2.000 + 600 × 200 + 300 × 199 = 181.700'e, yaklaşık 182K'ya ulaşır, bu yüzden oyunu tasarlamadan önce modelin sayfasındaki bağlam boyutunu okuyun. DeepSeek-V4-Flash'in 380K penceresi ve 32.768'e kadar çıktı tokenı var; bkz. model sayfası. İkincisi, bir model uzun akıl yürütme üretirse 300 çıktı tokenınız artar (toplu bir işte düşünme tokenları).

Koda sert bir üst sınır koyun#

README'deki --budget bayrağı doğru fikir ve kendi harness'ınıza kopyalamak on satır sürer. Aşağıdaki betik çalışmadan önce tahmin yapar, toplamı üst sınırın üzerine çıkarabilecek bir istek göndermeyi reddeder ve her çağrıyı bir defter dosyasına kaydeder. İçindeki fiyatlar bir örnektir: güncel olanları fiyatlandırma tablosundan alın.

import json, os
from openai import OpenAI

client = OpenAI(
    base_url='https://api.cheaptokens.dev/v1',
    api_key=os.environ['CHEAPTOKENS_API_KEY'],
)
MODEL = 'deepseek-ai/DeepSeek-V4-Flash-0731'
PRICE_IN, PRICE_OUT = 0.10, 0.40  # per 1M tokens: example, substitute current
CAP_USD = 5.00
spent = 0.0


def cost(tin, tout):
    return (tin * PRICE_IN + tout * PRICE_OUT) / 1_000_000


def estimate(seats, turns, system=2000, new_in=600, out=300):
    tin = sum(system + new_in * k + out * (k - 1) for k in range(1, turns + 1))
    return seats * tin, seats * turns * out


def ask(seat, history, max_out=400):
    global spent
    rough_in = sum(len(m['content']) for m in history) // 3  # pessimistic
    if spent + cost(rough_in, max_out) > CAP_USD:
        raise SystemExit(f'cap reached: ${spent:.4f} spent')
    r = client.chat.completions.create(
        model=MODEL, messages=history, max_tokens=max_out)
    u = r.usage
    spent += cost(u.prompt_tokens, u.completion_tokens)
    with open('ledger.jsonl', 'a') as f:
        f.write(json.dumps({'seat': seat, 'in': u.prompt_tokens,
                            'out': u.completion_tokens,
                            'spent': round(spent, 6)}) + '\n')
    return r.choices[0].message.content


print(estimate(6, 20))  # (1338000, 36000) per game

estimate(6, 20), yukarıdakiyle aynı oyun başına sayıları, (1338000, 36000) yazdırır, böylece kod ve aritmetik birbirini kontrol eder. usage.prompt_tokens ve usage.completion_tokens yanıttan gelir ve faturalandırıldığınız değerlerdir; ön kontrol kötümser bir karakter sayımı kullanır çünkü gerçek sayı ancak çağrıdan sonra bilinir. Proje bazlı defterler hakkında daha fazlası Python'da ajan token maliyetini izleme yazısında.

İlk çalıştırma için güvenli bir sıra#

Deponun kendi sırası iyi bir model: önce ücretsiz, sonra ucuz, en son pahalı. Şu adımları sıraya koyun:

README, ucuz modellerde bir demo oyunun yaklaşık 2–5 dolar tuttuğunu söylüyor. Bu yazarın ifadesi ve modeller adlandırılmamış, bu yüzden bunu kurulumunuz için bir fiyat teklifi değil, bir akıl sağlığı aralığı olarak görün. Kendi pilot oyununuz önemli olan sayıyı verir: defteri 1.338.000 varsaydığınız yerde 1.500.000 girdi tokenı gösteriyorsa, bunu 40. oyunda değil birkaç kuruş karşılığında öğrenmiş olursunuz.

Daha uzun deneyler için olağan kaldıraçlar sohbet geçmişini kırpma yazısında: her koltuğun yeniden okumak zorunda olduğu şeyi azaltın, karesel terim de onunla birlikte küçülür. Çalıştırmaya hazır olduğunuzda dokümanlarda uç nokta ve model kimlikleri var.