Compter les tokens avant d'envoyer une requête : tiktoken en Python

Vous pouvez compter les tokens d'un prompt sur votre propre machine avant de l'envoyer : installez tiktoken, encodez le texte, prenez len() du résultat. tiktoken est le tokeniseur d'OpenAI, donc pour les modèles DeepSeek, GLM et MiniMax, le nombre est une estimation. Le chiffre réel revient dans usage.prompt_tokens après le premier appel, et comparer les deux ne prend qu'une ligne de plus.

Pourquoi s'en soucier ? Parce que la facture et les erreurs commencent toutes deux par la taille de l'entrée. Collez un long contrat dans un script, et vous découvrez qu'il était trop gros seulement quand l'API répond par un 400. Lancez un lot de cinq mille e-mails, et vous découvrez ce qu'il a coûté seulement quand le solde est plus bas. Compter d'abord transforme ces deux surprises en un nombre que vous pouvez lire à l'avance.

Cinq lignes qui comptent les tokens#

Le README de tiktoken (vérifié le 1er novembre 2026) montre toute l'idée : choisir un encodage, encoder le texte, et la longueur de la liste est le nombre de tokens.

pip install tiktoken

import tiktoken

enc = tiktoken.get_encoding('o200k_base')
text = 'Hello world'
tokens = enc.encode(text)
print(len(tokens))  # how many tokens the text is

enc.decode(tokens) renvoie le texte d'origine, ce qui est une vérification de bon sens pratique pour s'assurer que vous regardez le même texte que le modèle verra. Le README mentionne aussi tiktoken.encoding_for_model('gpt-4o'), qui choisit le tokeniseur pour un modèle OpenAI spécifique. C'est le piège à retenir : les tokeniseurs appartiennent à des familles de modèles. La règle empirique du README est d'environ quatre octets de texte par token, et elle ne décrit que les tokeniseurs d'OpenAI.

Alors que faire pour un modèle DeepSeek ? Utilisez le même compte comme estimation de travail, et calibrez-le, comme montré ci-dessous.

Le prompt tient-il dans la fenêtre ?#

Chaque modèle a une fenêtre de contexte, et votre entrée plus la réponse que vous autorisez doit y tenir. Les fenêtres des modèles que nous servons : DeepSeek-V4-Flash 380K, GLM-5.3-Flash 390K, MiniMax-M2.7 180K tokens. La réponse la plus longue est de 32 768 tokens pour DeepSeek-V4-Flash et de 8 192 pour les deux autres (liste des modèles CheapTokens, 1er novembre 2026).

Une garde avant l'appel tient en quatre lignes :

CONTEXT = {
    'deepseek-ai/DeepSeek-V4-Flash-0731': 380_000,
    'zai-org/GLM-5.3-Flash': 390_000,
    'MiniMaxAI/MiniMax-M2.7': 180_000,
}

def fits(prompt_tokens, max_tokens, model):
    return prompt_tokens + max_tokens <= CONTEXT[model]

Disons que vous avez un document de 250 000 tokens. fits(250_000, 8_192, 'MiniMaxAI/MiniMax-M2.7') vaut False, donc vous routez cette tâche vers un modèle avec une fenêtre plus grande ou vous découpez le document, et le 400 n'arrive jamais. fits(250_000, 8_192, 'deepseek-ai/DeepSeek-V4-Flash-0731') vaut True. Si vous voulez l'histoire complète de ce à quoi ressemble l'erreur, request too long: 400 vs 413, context window and max_tokens la détaille.

Combien cela va-t-il coûter ?#

Maintenant le budget. Prenez un élément typique, comptez-le, et multipliez. Supposez que vous classiez 5 000 e-mails de commande. Vous comptez un e-mail représentatif et obtenez environ 800 tokens d'entrée, et vous plafonnez le label et une courte raison à 200 tokens de sortie. Les totaux : 5 000 × 800 = 4 000 000 tokens d'entrée et 5 000 × 200 = 1 000 000 tokens de sortie.

Le tableau ci-dessous chiffre exactement cette charge de travail aux prix actuels, entrée et sortie comptées ensemble :

Au total, entrée et sortie comptées ensemble, la colonne CheapTokens est moins chère qu'OpenRouter pour ces modèles. Changez les trois nombres pour vos propres comptes et vous avez un budget avant la première requête. Pour la différence entre les deux côtés de la facture, voir input vs output tokens: what an AI API bills you for, et pour des exemples réellement mesurés how many tokens an API request uses. Les prix actuels sont toujours sur la page de tarification.

Comparez l'estimation avec l'usage#

L'estimation est une supposition sur le tokeniseur de quelqu'un d'autre, alors vérifiez-la une fois contre le corrigé. Chaque réponse porte un champ usage, et usage.prompt_tokens est ce que l'API a compté pour votre entrée. Mettez les deux nombres côte à côte et divisez.

pip install tiktoken openai
export CHEAPTOKENS_API_KEY='your-key-here'

import os
import tiktoken
from openai import OpenAI

MODEL = 'deepseek-ai/DeepSeek-V4-Flash-0731'
enc = tiktoken.get_encoding('o200k_base')
messages = [{'role': 'user',
             'content': 'Classify this email as order, refund or other: Hi, my parcel from last Tuesday has not arrived yet.'}]

estimate = sum(len(enc.encode(m['content'])) for m in messages)

client = OpenAI(base_url='https://api.cheaptokens.dev/v1',
                api_key=os.environ['CHEAPTOKENS_API_KEY'])
r = client.chat.completions.create(model=MODEL, messages=messages, max_tokens=200)

real = r.usage.prompt_tokens
print(f'estimate {estimate}, usage.prompt_tokens {real}, ratio {real / estimate:.2f}')

À partir de là, la routine est : estimer localement, garder la fenêtre, appliquer votre ratio au budget, et laisser usage dans chaque réponse vous garder honnête. Si vous voulez aussi le total cumulé sur toute une tâche, track AI agent token cost in Python le construit sur le même champ. Nouveau sur la connexion elle-même ? Your first API request with CheapTokens la couvre, et la documentation a le reste.

Compter est bon marché, local et prend quelques secondes. Faites-le avant l'appel qui coûte de l'argent.