Как посчитать токены до запроса: tiktoken в Python

Токены промпта можно посчитать у себя на машине ещё до отправки: поставьте tiktoken, закодируйте текст и возьмите len() от результата. tiktoken — токенизатор OpenAI, поэтому для моделей DeepSeek, GLM и MiniMax это оценка. Настоящее число API вернёт в usage.prompt_tokens после первого вызова, и сравнить их — одна лишняя строка.

Зачем это? Потому что и счёт, и ошибки начинаются с размера входа. Вставили длинный договор в скрипт — и узнали, что он велик, только когда API ответил 400. Запустили пакет из пяти тысяч писем — и узнали цену, когда баланс уже уменьшился. Если посчитать заранее, обе неожиданности превращаются в число, которое видно наперёд.

Пять строк, которые считают токены#

Идея целиком есть в README tiktoken (проверено 1 ноября 2026): выбрать кодировку, закодировать текст, длина списка — это число токенов.

pip install tiktoken

import tiktoken

enc = tiktoken.get_encoding('o200k_base')
text = 'Hello world'
tokens = enc.encode(text)
print(len(tokens))  # how many tokens the text is

enc.decode(tokens) возвращает исходный текст — удобная проверка, что вы смотрите на тот же текст, который увидит модель. В README есть и tiktoken.encoding_for_model('gpt-4o'): он выбирает токенизатор под конкретную модель OpenAI. Тут и подвох: токенизаторы привязаны к семействам моделей. Правило из README — примерно четыре байта текста на токен, и оно описывает токенизаторы OpenAI.

Что делать с DeepSeek? Брать тот же подсчёт как рабочую оценку и откалибровать его, как показано ниже.

Влезает ли промпт в окно?#

У каждой модели есть окно контекста, и вход вместе с разрешённым ответом должен в него поместиться. Окна наших моделей: DeepSeek-V4-Flash — 380K, GLM-5.3-Flash — 390K, MiniMax-M2.7 — 180K токенов. Самый длинный ответ: 32 768 токенов у DeepSeek-V4-Flash и 8 192 у двух других (список моделей CheapTokens, 1 ноября 2026).

Страж перед вызовом — четыре строки:

CONTEXT = {
    'deepseek-ai/DeepSeek-V4-Flash-0731': 380_000,
    'zai-org/GLM-5.3-Flash': 390_000,
    'MiniMaxAI/MiniMax-M2.7': 180_000,
}

def fits(prompt_tokens, max_tokens, model):
    return prompt_tokens + max_tokens <= CONTEXT[model]

Допустим, у вас документ на 250 000 токенов. fits(250_000, 8_192, 'MiniMaxAI/MiniMax-M2.7') вернёт False: отправляете задачу на модель с окном побольше или режете документ — и 400 не случается. fits(250_000, 8_192, 'deepseek-ai/DeepSeek-V4-Flash-0731') вернёт True. Как выглядит сама ошибка, разобрано в статье запрос слишком длинный: 400 и 413, окно контекста и max_tokens.

Сколько это будет стоить?#

Теперь бюджет. Берёте один типичный элемент, считаете и умножаете. Допустим, вы сортируете 5 000 писем о заказах. Один показательный текст письма — около 800 токенов на входе, а метку и короткую причину вы ограничили 200 токенами на выходе. Итого: 5 000 × 800 = 4 000 000 входных токенов и 5 000 × 200 = 1 000 000 выходных.

Таблица ниже считает именно эту нагрузку по живым ценам, вход и выход вместе:

В сумме, с учётом входа и выхода, колонка CheapTokens для этих моделей дешевле OpenRouter. Подставьте свои три числа — и бюджет у вас есть до первого запроса. О разнице между двумя сторонами счёта — в статье входные и выходные токены: за что платит API, а реальные замеры — в сколько токенов уходит на запрос. Актуальные цены всегда на странице цен.

Сверьте оценку с usage#

Оценка — это догадка о чужом токенизаторе, так что один раз сверьте её с ответом. В каждом ответе есть поле usage, а usage.prompt_tokens — то, сколько токенов на входе насчитал API. Поставьте два числа рядом и разделите.

pip install tiktoken openai
export CHEAPTOKENS_API_KEY='your-key-here'

import os
import tiktoken
from openai import OpenAI

MODEL = 'deepseek-ai/DeepSeek-V4-Flash-0731'
enc = tiktoken.get_encoding('o200k_base')
messages = [{'role': 'user',
             'content': 'Classify this email as order, refund or other: Hi, my parcel from last Tuesday has not arrived yet.'}]

estimate = sum(len(enc.encode(m['content'])) for m in messages)

client = OpenAI(base_url='https://api.cheaptokens.dev/v1',
                api_key=os.environ['CHEAPTOKENS_API_KEY'])
r = client.chat.completions.create(model=MODEL, messages=messages, max_tokens=200)

real = r.usage.prompt_tokens
print(f'estimate {estimate}, usage.prompt_tokens {real}, ratio {real / estimate:.2f}')

Дальше привычка такая: оценить локально, проверить окно, применить свой коэффициент к бюджету, а usage в каждом ответе пусть держит вас в тонусе. Нужен суммарный счёт за всю работу? В статье учёт стоимости токенов агента в Python он строится на том же поле. Если ещё не подключались, начните с первого запроса к CheapTokens, а остальное есть в документации.

Считать токены дёшево, быстро и локально. Сделайте это до вызова, который стоит денег.