Zähle Tokens, bevor du eine Anfrage sendest: tiktoken in Python

Du kannst die Tokens eines Prompts auf deiner eigenen Maschine zählen, bevor er gesendet wird: installiere tiktoken, kodiere den Text, nimm len() des Ergebnisses. tiktoken ist OpenAIs Tokenizer, daher ist die Zahl für DeepSeek-, GLM- und MiniMax-Modelle eine Schätzung. Die tatsächliche Zahl kommt nach dem ersten Aufruf in usage.prompt_tokens zurück, und der Vergleich der beiden kostet eine weitere Zeile.

Warum sich das lohnt? Weil sowohl die Rechnung als auch die Fehler mit der Eingabegröße beginnen. Füge einen langen Vertrag in ein Skript ein, und du erfährst erst, dass er zu groß war, wenn die API mit einem 400 antwortet. Führe einen Batch von fünftausend E-Mails aus, und du erfährst erst, was er gekostet hat, wenn das Guthaben niedriger ist. Vorher zu zählen verwandelt beide Überraschungen in eine Zahl, die du im Voraus lesen kannst.

Fünf Zeilen, die Tokens zählen#

Die tiktoken README (geprüft am 1. November 2026) zeigt die ganze Idee: wähle eine Kodierung, kodiere den Text, und die Länge der Liste ist die Token-Anzahl.

pip install tiktoken

import tiktoken

enc = tiktoken.get_encoding('o200k_base')
text = 'Hello world'
tokens = enc.encode(text)
print(len(tokens))  # how many tokens the text is

enc.decode(tokens) gibt den Originaltext zurück, was eine praktische Plausibilitätsprüfung ist, dass du denselben Text siehst, den das Modell sehen wird. Die README erwähnt außerdem tiktoken.encoding_for_model('gpt-4o'), das den Tokenizer für ein bestimmtes OpenAI-Modell auswählt. Das ist der Haken, den man sich merken sollte: Tokenizer gehören zu Modellfamilien. Die Faustregel der README sind etwa vier Bytes Text pro Token, und sie beschreibt nur OpenAIs Tokenizer.

Was machst du also für ein DeepSeek-Modell? Verwende dieselbe Zählung als Arbeits-Schätzung und kalibriere sie, wie unten gezeigt.

Passt der Prompt ins Fenster?#

Jedes Modell hat ein Kontextfenster, und deine Eingabe plus die Antwort, die du zulässt, müssen hineinpassen. Die Fenster für die Modelle, die wir anbieten: DeepSeek-V4-Flash 380K, GLM-5.3-Flash 390K, MiniMax-M2.7 180K Tokens. Die längste Antwort ist 32.768 Tokens für DeepSeek-V4-Flash und 8.192 für die anderen beiden (CheapTokens-Modellliste, 1. November 2026).

Eine Absicherung vor dem Aufruf sind vier Zeilen:

CONTEXT = {
    'deepseek-ai/DeepSeek-V4-Flash-0731': 380_000,
    'zai-org/GLM-5.3-Flash': 390_000,
    'MiniMaxAI/MiniMax-M2.7': 180_000,
}

def fits(prompt_tokens, max_tokens, model):
    return prompt_tokens + max_tokens <= CONTEXT[model]

Angenommen, du hast ein Dokument mit 250.000 Tokens. fits(250_000, 8_192, 'MiniMaxAI/MiniMax-M2.7') ist False, also leitest du diesen Job an ein Modell mit größerem Fenster weiter oder teilst das Dokument auf, und der 400 tritt nie auf. fits(250_000, 8_192, 'deepseek-ai/DeepSeek-V4-Flash-0731') ist True. Wenn du die ganze Geschichte darüber willst, wie der Fehler aussieht, geht request too long: 400 vs 413, context window and max_tokens darauf ein.

Was wird es kosten?#

Jetzt das Budget. Nimm ein typisches Element, zähle es und multipliziere. Angenommen, du klassifizierst 5.000 Bestell-E-Mails. Du zählst eine repräsentative E-Mail und erhältst etwa 800 Eingabe-Tokens, und du begrenzt das Label und eine kurze Begründung auf 200 Ausgabe-Tokens. Die Summen: 5.000 × 800 = 4.000.000 Eingabe-Tokens und 5.000 × 200 = 1.000.000 Ausgabe-Tokens.

Die folgende Tabelle bepreist genau diese Arbeitslast zu Live-Preisen, mit Eingabe und Ausgabe zusammen gezählt:

Insgesamt, mit Eingabe und Ausgabe zusammen gezählt, ist die CheapTokens-Spalte für diese Modelle günstiger als OpenRouter. Ändere die drei Zahlen auf deine eigenen Zählungen, und du hast ein Budget vor der ersten Anfrage. Für den Unterschied zwischen den beiden Seiten der Rechnung siehe input vs output tokens: what an AI API bills you for, und für echte gemessene Beispiele how many tokens an API request uses. Aktuelle Preise stehen immer auf der Preisseite.

Vergleiche die Schätzung mit der Usage#

Die Schätzung ist eine Vermutung über den Tokenizer von jemand anderem, also prüfe sie einmal gegen den Lösungsschlüssel. Jede Antwort trägt ein usage-Feld, und usage.prompt_tokens ist das, was die API für deine Eingabe gezählt hat. Stelle die beiden Zahlen nebeneinander und dividiere.

pip install tiktoken openai
export CHEAPTOKENS_API_KEY='your-key-here'

import os
import tiktoken
from openai import OpenAI

MODEL = 'deepseek-ai/DeepSeek-V4-Flash-0731'
enc = tiktoken.get_encoding('o200k_base')
messages = [{'role': 'user',
             'content': 'Classify this email as order, refund or other: Hi, my parcel from last Tuesday has not arrived yet.'}]

estimate = sum(len(enc.encode(m['content'])) for m in messages)

client = OpenAI(base_url='https://api.cheaptokens.dev/v1',
                api_key=os.environ['CHEAPTOKENS_API_KEY'])
r = client.chat.completions.create(model=MODEL, messages=messages, max_tokens=200)

real = r.usage.prompt_tokens
print(f'estimate {estimate}, usage.prompt_tokens {real}, ratio {real / estimate:.2f}')

Ab dann lautet die Routine: lokal schätzen, das Fenster absichern, dein Verhältnis auf das Budget anwenden und dich durch usage in jeder Antwort ehrlich halten lassen. Wenn du auch die laufende Summe über einen ganzen Job willst, baut track AI agent token cost in Python das auf demselben Feld auf. Neu bei der Verbindung selbst? Your first API request with CheapTokens behandelt das, und die Docs haben den Rest.

Zählen ist günstig, lokal und dauert Sekunden. Tu es vor dem Aufruf, der Geld kostet.