Bir RAG sorusunun maliyeti: kaç parça göndermeli

Belge sohbet robotunuz çalışıyor, ilk fatura geliyor ve soruların hak ettiğinden büyük. Neredeyse her RAG kurulumunda para tek bir yere gider: her sorunun önüne yapıştırdığınız getirilen parçalar. Bir RAG sorusu, giriş tarafında sorunun, talimatlarınızın ve N parçanın token'larına, çıkış tarafında ise kısa bir yanıta mal olur. Parçalar sizin kontrol ettiğiniz kısımdır ve her biri her isteğe aynı sayıda token ekler.

Bu kılavuz bir isteği sayar, 1.000 ve 100.000 isteği canlı fiyatlarla fiyatlandırır ve top-k'yi 3'ten 10'a taşıdığınızda nelerin değiştiğini gösterir. Getirme işleminin kendisi (vektör deponuz, parçalama yönteminiz) sizin tarafınızda kalır; yalnızca son üretim çağrısı model API'sine gider. Giriş ve çıkış faturalandırması sizin için yeniyse, giriş ve çıkış token'ları ile başlayın.

Bir RAG isteğine neler girer#

Şirket belgeleri üzerinde bir destek botu çalıştırdığınızı varsayalım. Bir müşteri "İki faktörlü girişi nasıl sıfırlarım?" diye sorar, getiriciniz en iyi beş pasajı döndürür ve bunu modele gönderirsiniz:

• bir sistem istemi: "Yalnızca bağlamdan yanıtla. Orada yoksa, yok olduğunu söyle." — biçimlendirme kurallarını eklediğinizde yaklaşık 300 token;
• biraz sohbet bağlamıyla birlikte soru — yaklaşık 200 token;
• her biri yaklaşık 500 token olan 5 parça — 5 × 500 = 2.500 token;
• yanıt: iki veya üç kısa paragraf — çıkışta yaklaşık 300 token.

Giriş tarafı 2.500 + 300 + 200 = 3.000 token, çıkış tarafı yaklaşık 300. Bunlar tipik bir destek botu için yazarın varsayımlarıdır; kendi sayılarınızı koyun. Aşağıdaki her şey bu tek isteği birim olarak kullanır.

Şekli görmenin hızlı yolu: parçalar tüm girişin kabaca altıda beşidir ve giriş yanıtın on katıdır. Tahmini kendiniz deneyin:

1.000 sorunun maliyeti#

Bir istek hissetmek için çok küçüktür, bu yüzden ölçekleyin. 3.000 giriş ve 300 çıkışla, 1.000 soru 3.000.000 giriş token'ı gönderir ve 300.000 çıkış token'ı üretir. Kendi botunuzla eşleştirmek için aşağıdaki kaydırıcıları sürükleyin; site her model için canlı fiyatlarla yeniden hesaplar.

Tablo, üç model için de aynı iş yükünü, yanında OpenRouter referansıyla gösterir. Giriş ve çıkış birlikte toplam olarak sayıldığında, her biri burada OpenRouter'dan daha ucuza gelir.

Peki 100.000 soruda? Bu, 300.000.000 giriş ve 30.000.000 çıkış token'ı demektir. DeepSeek-V4-Flash'te bu $7.50, GLM-5.3-Flash'te $7.20, MiniMax-M2.7'de $19.50. Fiyatlar model başına sabittir, yoğun saat yoktur, bu yüzden gece toplu işi ve gündüz sohbeti token başına aynı maliyettedir. Tam fiyat listesi için fiyatlandırma sayfasına bakın.

Top-k: her parça aynı miktarı ekler#

İkinci senaryo: bir iç wiki asistanı. Biri "Her ihtimale karşı 3 yerine 10 parça gönderelim" der. Giriş düz bir çizgide büyür: her parça her istekte 500 token daha demektir.

2.000'e karşı 5.500 token: yanıt aynı uzunlukta, yani wiki asistanının faturasındaki tüm fark girişte. Size daha iyi bir yanıt sağlayıp sağlamadığı bir kalite sorusudur: doğru pasajın zaten bağlamda olduğu noktadan sonra, fazladan parçalar çoğunlukla gürültü ve maliyet ekler. k'yı seçmenin pratik bir yolu, gerçek sorulardan oluşan bir küme almak, doğru pasajın hangi k'da ortaya çıktığını kontrol etmek ve bunun biraz üstünde durmaktır.

Bağlam penceresi diğer sınırdır. Buradaki üç modelin de sıradan top-k için bolca yeri vardır: MiniMax-M2.7 için 180K token, DeepSeek-V4-Flash için 380K ve GLM-5.3-Flash için 390K. Çıkış sınırları farklıdır: GLM-5.3-Flash ve MiniMax-M2.7 için yanıt başına 8.192 token'a kadar, DeepSeek-V4-Flash için 32.768'e kadar; bu, yanıtlarınız kısa yanıtlar yerine uzun raporlarsa önemlidir.

İstemdeki tüm belge mi, dört parça mı#

Üçüncü senaryo: sözleşme soru-cevap. Tembel sürüm, 30.000 token'lık PDF'nin tamamını her soruya yapıştırır. Getirme sürümü, soruyu, talimatları ve her biri yaklaşık 650 token olan dört ilgili parçayı, toplamda kabaca 3.000 token gönderir. Aynı 1.000 soru, aynı 300 token'lık yanıtlar:

Tam belge, aynı soru için on kat giriş gönderir: 30.000 ÷ 3.000 = 10. Bağlama sığan bir belge hakkında tek seferlik bir soru için hâlâ mantıklıdır. Gün boyu yanıt veren bir bot için pahalı varsayılandır. Bu girişin çoğu her seferinde aynı metinse, istem önbelleğe alma hakkında okuyun.

İsteği gönderin#

Aşağıda üretim adımı var. Getirme kısmı size ait: chunks vektör deponuzun döndürdüğü şeydir. Aynı kod OpenAI SDK'sı veya düz curl ile çalışır.

from openai import OpenAI

client = OpenAI(
    base_url="https://api.cheaptokens.dev/v1",
    api_key="YOUR_CHEAPTOKENS_KEY",
)

chunks = ["Chunk 1 text...", "Chunk 2 text...", "Chunk 3 text..."]
context = "\n\n---\n\n".join(chunks)

resp = client.chat.completions.create(
    model="deepseek-ai/DeepSeek-V4-Flash-0731",
    max_tokens=400,
    messages=[
        {"role": "system", "content": "Answer only from the context. If the answer is not there, say so."},
        {"role": "user", "content": f"Context:\n{context}\n\nQuestion: How do I reset two-factor login?"},
    ],
)
print(resp.choices[0].message.content)
print(resp.usage.prompt_tokens, resp.usage.completion_tokens)

curl https://api.cheaptokens.dev/v1/chat/completions \
  -H "Authorization: Bearer YOUR_CHEAPTOKENS_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "deepseek-ai/DeepSeek-V4-Flash-0731",
    "max_tokens": 400,
    "messages": [
      {"role": "system", "content": "Answer only from the context. If the answer is not there, say so."},
      {"role": "user", "content": "Context:\nChunk 1...\n\nQuestion: How do I reset two-factor login?"}
    ]
  }'

Python örneğinin son satırı işe yarayan satırdır. usage.prompt_tokens soru başına gerçek girişinizdir; 3.000 tahminiyle karşılaştırın ve varsayımlarımı yerine kendi sayılarınızı koyun. Örnekteki gibi tam model kimliğini kullanın: deepseek-ai/DeepSeek-V4-Flash-0731. Kimlikler belgelerde listelenmiştir. Tam kurulum belgelerde ve bir botun token'larının bir diyalog boyunca nasıl biriktiğini görmek isterseniz, uzun bir sohbetin neden daha pahalı olduğu geçmiş kısmını ele alır.

Girişi küçültmenin dört yolu#

Yanıtı sınırlayan ve sizi kontrolden çıkmış bir yanıttan koruyan max_tokens ile başlayın. Sonra k'yı hâlâ doğru pasajı bulan en küçük değere düşürün. Parçaları daha sıkı yapın, böylece 500 token başlıklar ve şablon metinler değil, 500 token anlam taşısın. Göndermeden önce yinelenen parçaları çıkarın: neredeyse aynı iki pasaj iki kez maliyet, bir kez söyler. Ve gerçek trafikte usage ile ölçün, çünkü 500 token'lık parçalar hakkında bir tahmin yalnızca bir tahmindir. Bir API çağrısında token'ların nereye gittiğine daha geniş bir bakış için bir isteğin kaç token kullandığına bakın.

Botunuzu üç modelde de fiyatlandırmak için istek başına kendi token'larınızı yukarıdaki hesaplayıcıya girin; yanıtlarınız uzunsa, ilk bakılacak model DeepSeek-V4-Flash'tir.