Thinking-Tokens in einem Massenjob: Effort, Caps, Stufenbudgets

Thinking-Tokens werden als Output-Tokens abgerechnet und zählen zu max_tokens, auch wenn du sie nie siehst. Die Rechnung eines großen Jobs hängt also davon ab, wie viel das Modell denkt, nicht nur davon, wie lang seine sichtbare Antwort ist. Die zwei entscheidenden Hebel sind ein Output-Cap und eine Aufteilung des Jobs: ein günstiges Modell für den Massendurchlauf, ein stärkeres nur für die Zusammenführung.

Wenn dein Agent zehn Minuten lief und die Rechnung größer ist als die Aufgabe, ist das die erste Stelle, an der du nachsehen solltest.

Wie ein Thinking-Token auf der Rechnung aussieht#

Nimm einen Klassifikator, der für jeden Kommentar keep oder drop antwortet. Die sichtbare Antwort ist ein einziges Wort; budgetieren wir dafür etwa 20 Output-Tokens. Sagen wir, das Modell denkt zuerst nach und verbraucht dabei 600 Tokens. Du siehst 20 Tokens auf dem Bildschirm und zahlst für 620.

Anthropics Effort-Seite (geprüft am 5. November 2026) ist da eindeutig: Thinking zählt zu max_tokens, auch wenn der Thinking-Inhalt nicht zurückgegeben wird, und max_tokens ist ein hartes Limit für den gesamten Output, Thinking plus Antworttext. Die Output-Seite ist außerdem die Seite, die pro Token teurer ist, weshalb das wehtut.

Multipliziere das mit 40.000 Kommentaren, und der unsichtbare Teil macht den Großteil der Rechnung aus. Zu den Grundlagen der beiden Seiten einer Anfrage siehe Input- vs. Output-Tokens.

Effort: ein Regler, kein Budget#

Anthropics Messages API setzt den Effort mit output_config.effort. Ohne Wert gilt der Standard des Modells. Die Stufen sind max, xhigh, high, medium und low. Der Standard ist high bei den meisten Modellen; Claude Opus 5.5 und Claude Haiku 5.5 verwenden standardmäßig medium.

Drei Details von derselben Seite solltest du im Hinterkopf behalten:

• Effort gilt für jedes Output-Token, mit oder ohne Thinking. Niedrigerer Effort bedeutet auch weniger und knappere Tool-Aufrufe, was für Agenten wichtig ist.
• low eignet sich für einfachere Aufgaben und Subagenten.
• Effort ist ein Verhaltenssignal, kein striktes Token-Budget. Es lenkt das Modell; es verspricht keine Zahl. Das harte Limit ist max_tokens.

Effort ist also der Regler dafür, wie sehr sich das Modell bemüht, und der Output-Cap ist der Zaun. Du willst beides, wo es verfügbar ist. Für die einfache Erklärung, warum Thinking mehr kostet, gibt es eine Einsteigerversion: Reasoning-Effort und Thinking-Tokens erklärt.

Eine echte Pipeline: ein Modell dirigiert, ein anderes erledigt die Masse#

Andrej Karpathy, KI-Forscher und OpenAI-Mitgründer, beschrieb seine HN-Video-Pipeline am 31. Oktober 2026 (der Beitrag). Claude Opus 5.5 mit Medium-Effort, seinem Standard, lud alle Hacker-News-Kommentare herunter, reduzierte sie auf etwa 40.000 Kommentare, die ein YouTube-Video empfehlen, und baute eine Seite mit 6.454 Videos von 2007 bis 2026 aus 150 Themen. Sonnet lief in einem Claude-Code-Workflow über die Kommentare, um Spam zu filtern und die Empfehlungen zu finden. Nach seiner Darstellung dauert das Ganze heute etwa zwei Stunden.

Der Beitrag nennt keine Token-Zahlen und keine Kosten, also gibt es zum Preis nichts zu zitieren. Was er zeigt, ist die Form: Das stärkere Modell sitzt oben mit Medium-Effort und entscheidet, was gebaut wird; ein günstigeres Modell arbeitet den repetitiven Teil durch. Achte darauf, wohin die Tokens gehen. Dirigieren sind wenige große, seltene Schritte. Filtern sind Zehntausende winzige, identische Schritte.

Dieselbe Aufteilung funktioniert mit jedem Modellpaar. Wenn du den Filter-Prompt selbst willst, steht er in 40K Kommentare mit einem LLM filtern; um zu entscheiden, welche Anfrage an welches Modell geht, siehe Modell-Routing, günstig zuerst.

Den Massendurchlauf schätzen#

Hier ist unsere eigene Annahme, nicht Karpathys Zahlen: 40.000 Kommentare, etwa 150 Input-Tokens jeweils (Instruktion plus Kommentar) und etwa 20 Output-Tokens jeweils (ein Label und ein paar Wörter).

• Input: 40.000 × 150 = 6.000.000 Tokens
• Output: 40.000 × 20 = 800.000 Tokens

Auf DeepSeek-V4-Flash kostet dieser Durchlauf $0.17. Die Tabelle zeigt dieselbe Arbeitslast auf jedem Modell, das wir anbieten; insgesamt, mit Input und Output zusammengerechnet, ist jedes davon günstiger als OpenRouter.

Lass das Modell nun vor der Antwort 600 Tokens pro Kommentar denken, also 620 Output-Tokens pro Element: 40.000 × 620 = 24.800.000 Output-Tokens. Derselbe Durchlauf auf DeepSeek-V4-Flash wird zu $2.57. Gleicher Input, und wenn das Modell 600 Tokens pro Kommentar denkt, wächst die Output-Seite um das Einunddreißigfache. Ob sich dieses Thinking lohnt, muss dein eigenes Eval sagen; bei einem Ein-Wort-Keep/Drop ist es das Erste, was du auf einer niedrigeren Stufe oder mit einem Cap testen solltest.

Spiel mit deinen eigenen Zahlen: Tokens pro Anfrage und Anzahl der Anfragen, und der Rechner verwendet Live-Preise.

Hebel, die du heute ziehen kannst#

Verschiedene APIs bieten unterschiedliche Thinking-Steuerungen, deshalb hier die, die überall funktionieren: ein hartes Cap, eine Kurzantwort-Instruktion und eine Stufenaufteilung.

Eine minimale Anfrage für den Massendurchlauf auf CheapTokens. Die Basis-URL ist https://api.cheaptokens.dev/v1 und die Modell-ID ist die vollständige aus der Doku:

curl https://api.cheaptokens.dev/v1/chat/completions \
  -H "Authorization: Bearer $CHEAPTOKENS_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "deepseek-ai/DeepSeek-V4-Flash-0731",
    "max_tokens": 1024,
    "messages": [
      {"role": "system", "content": "Reply with exactly one word: keep or drop."},
      {"role": "user", "content": "Comment: this talk on compilers changed how I think, youtube.com/watch?v=example"}
    ]
  }'

Lies usage.completion_tokens in der Antwort: Diese Zahl ist deine Output-Rechnung für die Anfrage. Das Cap umzäunt Thinking und sichtbare Antwort zusammen. Wenn finish_reason gleich length ist und der Inhalt leer ist, wurde das Cap verbraucht, bevor die Antwort erschien: erhöhe es oder verlange eine kürzere Antwort. Prüfe usage.completion_tokens bei ein paar Kommentaren und setze das Cap dann knapp über dem echten Maximum. Die Details zu Cap und Stop-Sequenz stehen in Output-Tokens kürzen, und der Schnitt mitten im Satz wird in warum eine Antwort mitten im Satz stoppt erklärt.

DeepSeek-V4-Flash erlaubt bis zu 32.768 Output-Tokens pro Antwort bei 380K Kontext, ein Cap von 1.024 ist also eine Entscheidung, kein Limit. GLM-5.3-Flash (8.192 Output, 390K Kontext) und MiniMax-M2.7 (8.192 Output, 180K Kontext) passen ins gleiche Muster. Wähle das Cap pro Stufe.

Um das Ganze auf einer Seite zu sehen, ist die Live-Preistabelle unter CheapTokens-Preise, und das Anfrageformat steht in der Doku.

Effort pro Stufe: eine kurze Regel#

Starte niedrig beim Massendurchlauf und erhöhe eine Stufe nach der anderen. Behalte die Zahl, die dein eigenes Eval als lohnend ausweist, nicht die, die am sichersten klingt. Das starke Modell sollte eine kleine, bereits gefilterte Menge sehen; das günstige alles andere.