Was eine RAG-Frage kostet: wie viele Chunks senden

Ihr Dokument-Chatbot funktioniert, die erste Rechnung kommt an, und sie ist größer, als es die Fragen verdienen. In fast jedem RAG-Setup fließt das Geld an eine Stelle: die abgerufenen Chunks, die Sie vor jede Frage einfügen. Eine RAG-Frage kostet die Tokens der Frage, Ihrer Anweisungen und N Chunks auf der Eingabeseite, plus eine kurze Antwort auf der Ausgabeseite. Die Chunks sind der Teil, den Sie kontrollieren, und jeder einzelne fügt jeder einzelnen Anfrage dieselbe Anzahl Tokens hinzu.

Dieser Leitfaden zählt eine Anfrage, bepreist 1.000 und 100.000 davon zu Live-Preisen und zeigt, was sich ändert, wenn Sie top-k von 3 auf 10 verschieben. Das Retrieval selbst (Ihr Vector Store, Ihr Chunking) bleibt auf Ihrer Seite; nur der abschließende Generierungsaufruf geht an die Modell-API. Wenn die Abrechnung von Eingabe und Ausgabe für Sie neu ist, beginnen Sie mit input vs output tokens.

Was in eine RAG-Anfrage einfließt#

Angenommen, Sie betreiben einen Support-Bot über Firmendokumente. Ein Kunde fragt: „Wie setze ich die Zwei-Faktor-Anmeldung zurück?“, Ihr Retriever liefert die fünf besten Passagen, und Sie senden dies an das Modell:

• einen System-Prompt: „Antworte nur aus dem Kontext. Wenn es dort nicht steht, sag es.“ — etwa 300 Tokens, sobald Sie Formatierungsregeln hinzufügen;
• die Frage mit etwas Chat-Kontext — etwa 200 Tokens;
• 5 Chunks von je etwa 500 Tokens — 5 × 500 = 2.500 Tokens;
• die Antwort: zwei oder drei kurze Absätze — etwa 300 Tokens Ausgabe.

Die Eingabeseite sind 2.500 + 300 + 200 = 3.000 Tokens, die Ausgabeseite etwa 300. Dies sind die Annahmen des Autors für einen typischen Support-Bot; setzen Sie Ihre eigenen Zahlen ein. Alles im Folgenden verwendet diese eine Anfrage als Einheit.

Der schnelle Weg, die Größenordnung zu sehen: Die Chunks machen etwa fünf Sechstel der gesamten Eingabe aus, und die Eingabe ist zehnmal so groß wie die Antwort. Probieren Sie die Schätzung selbst aus:

Was 1.000 Fragen kosten#

Eine Anfrage ist zu klein, um spürbar zu sein, also skalieren Sie sie. Mit 3.000 Tokens Eingabe und 300 Ausgabe senden 1.000 Fragen 3.000.000 Eingabe-Tokens und erzeugen 300.000 Ausgabe-Tokens. Ziehen Sie die Schieberegler unten, um Ihren eigenen Bot abzubilden; die Seite rechnet zu Live-Preisen für jedes Modell neu.

Die Tabelle zeigt dieselbe Arbeitslast für alle drei Modelle, mit der OpenRouter-Referenz daneben. In der Summe, Eingabe und Ausgabe zusammen, ist jedes von ihnen hier günstiger als OpenRouter.

Und bei 100.000 Fragen? Das sind 300.000.000 Tokens Eingabe und 30.000.000 Ausgabe. Auf DeepSeek-V4-Flash sind das $7.50, auf GLM-5.3-Flash $7.20, auf MiniMax-M2.7 $19.50. Die Preise sind pro Modell fest, ohne Stoßzeiten, sodass ein nächtlicher Batch und ein Chat am Tag pro Token gleich viel kosten. Die vollständige Preisliste finden Sie auf der Preisseite.

Top-k: jeder Chunk fügt denselben Betrag hinzu#

Hier ist das zweite Szenario: ein interner Wiki-Assistent. Jemand schlägt vor: „Senden wir 10 Chunks statt 3, nur für den Fall.“ Die Eingabe wächst linear: Jeder Chunk sind weitere 500 Tokens in jeder Anfrage.

2.000 gegen 5.500 Tokens: Die Antwort ist gleich lang, also ist der gesamte Unterschied in der Rechnung des Wiki-Assistenten die Eingabe. Ob er Ihnen eine bessere Antwort bringt, ist eine Qualitätsfrage: Ab dem Punkt, an dem die richtige Passage bereits im Kontext ist, fügen zusätzliche Chunks meist nur Rauschen und Kosten hinzu. Ein praktischer Weg, k zu wählen, ist, eine Menge echter Fragen zu nehmen, zu prüfen, bei welchem k die richtige Passage auftaucht, und etwas darüber zu stoppen.

Das Kontextfenster ist die andere Grenze. Alle drei Modelle hier haben reichlich Platz für gewöhnliches top-k: 180K Tokens für MiniMax-M2.7, 380K für DeepSeek-V4-Flash und 390K für GLM-5.3-Flash. Die Ausgabelimits unterscheiden sich: bis zu 8.192 Tokens pro Antwort für GLM-5.3-Flash und MiniMax-M2.7, bis zu 32.768 für DeepSeek-V4-Flash, was zählt, wenn Ihre Antworten lange Berichte statt kurzer Erwiderungen sind.

Das ganze Dokument im Prompt oder vier Chunks#

Drittes Szenario: Vertrags-Q&A. Die faule Variante fügt das gesamte 30.000-Token-PDF in jede Frage ein. Die Retrieval-Variante sendet die Frage, die Anweisungen und vier relevante Chunks von je etwa 650 Tokens, insgesamt etwa 3.000 Tokens. Dieselben 1.000 Fragen, dieselben 300-Token-Antworten:

Das vollständige Dokument sendet das Zehnfache der Eingabe, 30.000 ÷ 3.000 = 10, für dieselbe Frage. Es ergibt immer noch Sinn für eine einzelne einmalige Frage zu einem Dokument, das in den Kontext passt. Für einen Bot, der den ganzen Tag antwortet, ist es der teure Standard. Wenn ein großer Teil dieser Eingabe jedes Mal derselbe Text ist, lesen Sie über Prompt-Caching.

Die Anfrage senden#

Unten ist der Generierungsschritt. Der Retrieval-Teil gehört Ihnen: chunks ist, was auch immer Ihr Vector Store zurückgegeben hat. Derselbe Code funktioniert mit dem OpenAI SDK oder einfachem curl.

from openai import OpenAI

client = OpenAI(
    base_url="https://api.cheaptokens.dev/v1",
    api_key="YOUR_CHEAPTOKENS_KEY",
)

chunks = ["Chunk 1 text...", "Chunk 2 text...", "Chunk 3 text..."]
context = "\n\n---\n\n".join(chunks)

resp = client.chat.completions.create(
    model="deepseek-ai/DeepSeek-V4-Flash-0731",
    max_tokens=400,
    messages=[
        {"role": "system", "content": "Answer only from the context. If the answer is not there, say so."},
        {"role": "user", "content": f"Context:\n{context}\n\nQuestion: How do I reset two-factor login?"},
    ],
)
print(resp.choices[0].message.content)
print(resp.usage.prompt_tokens, resp.usage.completion_tokens)

curl https://api.cheaptokens.dev/v1/chat/completions \
  -H "Authorization: Bearer YOUR_CHEAPTOKENS_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "deepseek-ai/DeepSeek-V4-Flash-0731",
    "max_tokens": 400,
    "messages": [
      {"role": "system", "content": "Answer only from the context. If the answer is not there, say so."},
      {"role": "user", "content": "Context:\nChunk 1...\n\nQuestion: How do I reset two-factor login?"}
    ]
  }'

Die letzte Zeile des Python-Beispiels ist die nützliche. usage.prompt_tokens ist Ihre tatsächliche Eingabe pro Frage; vergleichen Sie sie mit der Schätzung von 3.000 und ersetzen Sie meine Annahmen durch Ihre Zahlen. Verwenden Sie die vollständige Modell-ID, wie im Beispiel: deepseek-ai/DeepSeek-V4-Flash-0731. Die IDs sind in der Dokumentation aufgeführt. Die vollständige Einrichtung steht in der Dokumentation, und wenn Sie sehen möchten, wie sich die Tokens eines Bots über einen Dialog summieren, behandelt warum ein langer Chat mehr kostet den Verlaufsteil.

Vier Wege, die Eingabe zu verkleinern#

Beginnen Sie mit max_tokens, das die Antwort begrenzt und Sie vor einer ausufernden Erwiderung schützt. Dann reduzieren Sie k auf den kleinsten Wert, der die richtige Passage noch findet. Machen Sie Chunks enger, sodass 500 Tokens 500 Tokens Bedeutung tragen und nicht Kopfzeilen und Boilerplate. Entfernen Sie doppelte Chunks vor dem Senden: Zwei nahezu identische Passagen kosten doppelt und sagen einmal. Und messen Sie mit usage auf echtem Traffic, denn eine Vermutung über 500-Token-Chunks ist nur eine Vermutung. Für einen breiteren Blick darauf, wohin Tokens in einem API-Aufruf fließen, siehe wie viele Tokens eine Anfrage verwendet.

Geben Sie Ihre eigenen Tokens pro Anfrage in den Rechner oben ein, um Ihren Bot auf allen drei Modellen zu bepreisen; wenn Ihre Antworten lang sind, ist DeepSeek-V4-Flash das Modell, das Sie zuerst ansehen sollten.