Що таке токен в AI? Пояснення простою мовою

Токен — це невеликий фрагмент тексту, з яким працює мовна модель: ціле слово, частина слова, розділовий знак або слово разом із пробілом перед ним. Моделі читають ваш запит як токени, пишуть відповідь як токени, а AI API виставляють рахунок за токени. Тож «скільки токенів у цьому» — насправді два питання: чи вміститься воно і скільки це коштуватиме.

Як модель розбиває текст на токени#

Перш ніж модель побачить ваш текст, токенізатор розбиває його на фрагменти з фіксованого словника й перетворює кожен фрагмент на число. Часті слова зазвичай отримують один токен. Рідкісні та довгі слова розбиваються на частини.

Ось реальний приклад. Ми прогнали одне речення через два токенізатори: той, що опублікований разом із DeepSeek-V4-Flash-0731, та кодування o200k_base від OpenAI.

В англійській обидва токенізатори збігаються: 9 слів, 11 токенів. Кома й крапка — це окремі токени, а більшість слів несуть перед собою пробіл.

Довгі слова — ось де токенізатори починають відрізнятися. "tokenization" — це два токени в обох: token + ization. Російське слово «токенизация» — це три токени для DeepSeek і чотири для OpenAI. Те саме слово, різна кількість.

Скільки токенів у слові#

Швидкий тест із коротким абзацом про токени, англійською та російською:

Для англійського тексту приблизно 1,1–1,2 токена на слово — це слушна оцінка. Інші писемності зазвичай коштують дорожче: російська версія каже те саме меншою кількістю слів, але потребує приблизно на 20% більше токенів із токенізатором DeepSeek.

Сприймайте це як орієнтовні правила. Кожна родина моделей має власний токенізатор, а точна кількість для вашого тексту — це та, яку повертає API.

Токени — це те, за що ви платите#

Ціни API вказуються за мільйон токенів, окремо для входу та виходу:

• вхідні токени — усе, що ви надсилаєте: системний запит, історія чату, документи та ваше питання;
• вихідні токени — усе, що модель пише у відповідь, включно з її міркуваннями, якщо модель міркує перед відповіддю.

Вартість запиту — це вхідні токени × ціна входу + вихідні токени × ціна виходу.

Два практичні наслідки. Довгий чат дорожчає з кожним повідомленням, бо вся історія щоразу повертається до моделі як вхідні дані. А вихід зазвичай коштує в кілька разів більше за токен, ніж вхід, тож прохання про коротші відповіді справді економить гроші.

Чотири речі, які люди називають «токеном»#

Це слово перевантажене, і саме тому його пошук такий заплутаний:

Якщо ви відповідаєте на питання вікторини на кшталт «токен — це…», то для мовних моделей правильною відповіддю буде фрагмент тексту: слово, частина слова або символ.

Чому ви можете побачити «недостатньо токенів»#

Та сама фраза може вказувати на чотири різні проблеми, і лише одна з них про гроші:

• Запит не вміщується в контекстне вікно. Кожна модель має ліміт на вхід плюс вихід. У CheapTokens це 380 000 токенів для DeepSeek-V4-Flash, 390 000 для GLM-5.3-Flash і 200 000 для MiniMax-M2.7. Скоротіть історію або розділіть документ.
• Відповідь досягла ліміту виходу. Відповідь обривається на півслові. Збільште max_tokens у межах максимуму моделі або попросіть коротшу відповідь.
• Баланс вичерпано. Це єдиний випадок, коли поповнення це виправляє.
• Застосунок має власний ліміт. Чат-сервіси часто обмежують використання за власними правилами, не пов'язаними із самою моделлю.

Як порахувати токени у власному тексті#

Найнадійніше число дає API: кожна відповідь містить блок usage з prompt_tokens та completion_tokens.

Щоб оцінити перед надсиланням, запустіть токенізатор моделі локально. Відкриті моделі публікують свій токенізатор поруч із вагами. Цей фрагмент рахує приклад речення токенізатором DeepSeek-V4-Flash-0731:

# pip install tokenizers huggingface_hub
from huggingface_hub import hf_hub_download
from tokenizers import Tokenizer

path = hf_hub_download("deepseek-ai/DeepSeek-V4-Flash-0731", "tokenizer.json")
tok = Tokenizer.from_file(path)

text = "A neural network reads text in tokens, not words."
enc = tok.encode(text, add_special_tokens=False)
print(len(enc.ids))  # 11

Для моделей OpenAI є бібліотека tiktoken. Майте на увазі, що підрахунок одним токенізатором є лише оцінкою для будь-якої іншої моделі.

Ваш наступний крок#

Щоб оцінити бюджет, візьміть типовий розмір запиту й відповіді та помножте на ціну за мільйон токенів. Поточні ціни CheapTokens, зафіксовані в доларах США: