Что такое токен в нейросети — объяснение простыми словами

Токен — это кусочек текста, с которым работает языковая модель: целое слово, часть слова, знак препинания или слово вместе с пробелом перед ним. Модель читает ваш запрос токенами, пишет ответ токенами, и API нейросетей берёт деньги тоже за токены. Поэтому вопрос «сколько здесь токенов» на деле означает два: поместится ли текст и сколько это будет стоить.

Если вы ищете ответ на вопрос из теста «токен — это…», то для языковых моделей верно: часть текста — слово, кусок слова или символ.

Как нейросеть режет текст на токены#

Прежде чем модель увидит текст, его разбирает токенизатор: делит на кусочки из заранее составленного словаря и каждому кусочку сопоставляет число. Частые слова обычно занимают один токен. Редкие и длинные режутся на части.

Вот настоящий пример. Мы прогнали одну фразу через два токенизатора: тот, что опубликован вместе с DeepSeek-V4-Flash-0731, и кодировку OpenAI o200k_base.

Семь слов превратились в 16 токенов у DeepSeek и в 15 у OpenAI. «Нейросеть» оба режут на четыре куска: «Н», «ей», «рос», «еть». А «словами» у OpenAI — один токен, у DeepSeek — два: «слова» и «ми».

Ещё нагляднее одно длинное слово. «Токенизация» у DeepSeek — три токена, у OpenAI — четыре. Английское tokenization у обоих — два: token и ization.

Сколько токенов в слове#

Проверили на коротком абзаце про токены — по-русски и тот же смысл по-английски:

Для русского текста выходит примерно 1,5–1,7 токена на слово, для английского — 1,1–1,2. Русский вариант короче по словам, но у DeepSeek занимает примерно на 20% больше токенов. А значит, и стоит дороже при той же цене за токен.

Это ориентиры, а не закон: у каждого семейства моделей свой токенизатор. Точное число для вашего текста знает только API — оно приходит в ответе.

За токены и платят#

Цены API указывают за миллион токенов, отдельно за вход и за выход:

• входные токены — всё, что вы отправили: системный промпт, историю переписки, документы, сам вопрос;
• выходные токены — всё, что написала модель, включая рассуждение, если модель рассуждает перед ответом.

Стоимость запроса = входные токены × цена входа + выходные токены × цена выхода.

Отсюда два практических вывода. Длинный чат дорожает с каждым сообщением: вся история каждый раз уходит модели заново как вход. А выход обычно в несколько раз дороже входа, поэтому просьба отвечать короче экономит вполне реальные деньги.

Какие ещё бывают «токены»#

Слово перегружено, отсюда и путаница в поиске:

Почему пишут «недостаточно токенов»#

За одной фразой прячутся четыре разные проблемы, и только одна из них про деньги:

• Запрос не помещается в контекстное окно. У каждой модели есть предел на вход вместе с выходом. В CheapTokens это 380 000 токенов у DeepSeek-V4-Flash, 390 000 у GLM-5.3-Flash и 200 000 у MiniMax-M2.7. Сократите историю или разбейте документ на части.
• Ответ упёрся в лимит выхода. Текст обрывается на полуслове. Поднимите max_tokens в пределах максимума модели или попросите ответ короче.
• Закончился баланс. Пополнение помогает только в этом случае.
• Сработал лимит самого сервиса. Чат-сервисы часто ограничивают использование по своим правилам, и к модели это отношения не имеет.

Как посчитать токены своего текста#

Самое точное число даёт API: в каждом ответе есть блок usage с полями prompt_tokens и completion_tokens.

Чтобы прикинуть заранее, запустите токенизатор модели у себя — открытые модели публикуют его рядом с весами. Так считается наша фраза токенизатором DeepSeek-V4-Flash-0731:

# pip install tokenizers huggingface_hub
from huggingface_hub import hf_hub_download
from tokenizers import Tokenizer

path = hf_hub_download("deepseek-ai/DeepSeek-V4-Flash-0731", "tokenizer.json")
tok = Tokenizer.from_file(path)

text = "Нейросеть читает текст не словами, а токенами."
enc = tok.encode(text, add_special_tokens=False)
print(len(enc.ids))  # 16

Для моделей OpenAI есть библиотека tiktoken. Только помните: подсчёт одним токенизатором для другой модели — всего лишь оценка.

Что дальше#

Чтобы прикинуть бюджет, возьмите типичный размер своего запроса и ответа и умножьте на цену за миллион токенов. Актуальные цены CheapTokens — фиксированные, в долларах: