Скільки коштує RAG-запитання: скільки фрагментів надсилати

Ваш чат-бот для документів працює, надходить перший рахунок, і він більший, ніж заслуговують запитання. Майже в кожній RAG-системі гроші йдуть в одне місце: отримані фрагменти, які ви вставляєте перед кожним запитанням. Одне RAG-запитання коштує токенів запитання, ваших інструкцій і N фрагментів на стороні вводу, плюс коротка відповідь на стороні виводу. Фрагменти — це частина, яку ви контролюєте, і кожен із них додає однакову кількість токенів до кожного запиту.

Цей посібник рахує один запит, оцінює 1 000 і 100 000 таких запитів за актуальними цінами та показує, що змінюється, коли ви переходите від top-k 3 до 10. Сам пошук (ваше векторне сховище, ваше розбиття на фрагменти) залишається на вашій стороні; лише фінальний виклик генерації йде до API моделі. Якщо тарифікація вводу та виводу для вас нова, почніть з вхідні та вихідні токени.

Що входить в один RAG-запит#

Припустімо, ви запускаєте бота підтримки на документах компанії. Клієнт запитує: «Як скинути двофакторний вхід?», ваш пошуковий механізм повертає п'ять найкращих уривків, і ви надсилаєте це моделі:

• системний запит: «Відповідай лише з контексту. Якщо цього немає, скажи про це.» — близько 300 токенів, коли додати правила форматування;
• запитання з трохи контексту чату — близько 200 токенів;
• 5 фрагментів по ~500 токенів кожен — 5 × 500 = 2 500 токенів;
• відповідь: два-три короткі абзаци — близько 300 токенів на виході.

Сторона вводу — 2 500 + 300 + 200 = 3 000 токенів, сторона виводу — близько 300. Це припущення автора для типового бота підтримки; підставте свої цифри. Усе нижче використовує цей один запит як одиницю.

Швидкий спосіб побачити структуру: фрагменти становлять приблизно п'ять шостих усього вводу, а ввід у десять разів більший за відповідь. Спробуйте оцінити самостійно:

Скільки коштують 1 000 запитань#

Один запит замалий, щоб його відчути, тому масштабуйте. З 3 000 токенів на вході та 300 на виході 1 000 запитань надсилають 3 000 000 вхідних токенів і генерують 300 000 вихідних токенів. Перетягніть повзунки нижче, щоб відповідати вашому боту; сайт перераховує за актуальними цінами для кожної моделі.

Таблиця показує те саме навантаження для всіх трьох моделей, поруч із довідкою OpenRouter. У сумі, з вводом і виводом разом, кожна з них тут виходить дешевшою за OpenRouter.

А на 100 000 запитань? Це 300 000 000 токенів на вході та 30 000 000 на виході. На DeepSeek-V4-Flash це $7.50, на GLM-5.3-Flash $7.20, на MiniMax-M2.7 $19.50. Ціни фіксовані для кожної моделі, без пікових годин, тому нічний пакет і денний чат коштують однаково за токен. Повний прайс-лист на сторінці цін.

Top-k: кожен фрагмент додає однакову кількість#

Ось другий сценарій: помічник внутрішньої вікі. Хтось пропонує: «Давайте надсилати 10 фрагментів замість 3, про всяк випадок.» Ввід зростає лінійно: кожен фрагмент — це ще 500 токенів у кожному запиті.

2 000 проти 5 500 токенів: відповідь тієї самої довжини, тому вся різниця в рахунку помічника вікі — це ввід. Чи купує це вам кращу відповідь — питання якості: після точки, коли правильний уривок уже в контексті, додаткові фрагменти переважно додають шум і витрати. Практичний спосіб вибрати k — узяти набір реальних запитань, перевірити, при якому k з'являється правильний уривок, і зупинитися трохи вище.

Контекстне вікно — інше обмеження. Усі три моделі тут мають достатньо місця для звичайного top-k: 180K токенів для MiniMax-M2.7, 380K для DeepSeek-V4-Flash і 390K для GLM-5.3-Flash. Ліміти виводу різняться: до 8 192 токенів на відповідь для GLM-5.3-Flash і MiniMax-M2.7, до 32 768 для DeepSeek-V4-Flash, що важливо, якщо ваші відповіді — довгі звіти, а не короткі репліки.

Весь документ у запиті, чи чотири фрагменти#

Третій сценарій: запитання щодо договору. Лінива версія вставляє весь PDF на 30 000 токенів у кожне запитання. Версія з пошуком надсилає запитання, інструкції та чотири релевантні фрагменти по ~650 токенів кожен, загалом приблизно 3 000 токенів. Ті самі 1 000 запитань, ті самі відповіді на 300 токенів:

Повний документ надсилає в десять разів більше вводу, 30 000 ÷ 3 000 = 10, за те саме запитання. Це все ще має сенс для одного разового запитання про документ, що вміщується в контекст. Для бота, який відповідає цілий день, це дорогий варіант за замовчуванням. Якщо багато цього вводу — той самий текст щоразу, прочитайте про кешування запитів.

Надішліть запит#

Нижче — крок генерації. Частина пошуку — ваша: chunks — це те, що повернуло ваше векторне сховище. Той самий код працює з OpenAI SDK або звичайним curl.

from openai import OpenAI

client = OpenAI(
    base_url="https://api.cheaptokens.dev/v1",
    api_key="YOUR_CHEAPTOKENS_KEY",
)

chunks = ["Chunk 1 text...", "Chunk 2 text...", "Chunk 3 text..."]
context = "\n\n---\n\n".join(chunks)

resp = client.chat.completions.create(
    model="deepseek-ai/DeepSeek-V4-Flash-0731",
    max_tokens=400,
    messages=[
        {"role": "system", "content": "Answer only from the context. If the answer is not there, say so."},
        {"role": "user", "content": f"Context:\n{context}\n\nQuestion: How do I reset two-factor login?"},
    ],
)
print(resp.choices[0].message.content)
print(resp.usage.prompt_tokens, resp.usage.completion_tokens)

curl https://api.cheaptokens.dev/v1/chat/completions \
  -H "Authorization: Bearer YOUR_CHEAPTOKENS_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "deepseek-ai/DeepSeek-V4-Flash-0731",
    "max_tokens": 400,
    "messages": [
      {"role": "system", "content": "Answer only from the context. If the answer is not there, say so."},
      {"role": "user", "content": "Context:\nChunk 1...\n\nQuestion: How do I reset two-factor login?"}
    ]
  }'

Останній рядок прикладу Python — корисний. usage.prompt_tokens — це ваш реальний ввід на запитання; порівняйте його з оцінкою 3 000 і замініть мої припущення своїми цифрами. Використовуйте повний ідентифікатор моделі, як у прикладі: deepseek-ai/DeepSeek-V4-Flash-0731. Ідентифікатори наведені в документації. Повне налаштування — у документації, а якщо ви хочете побачити, як токени бота складаються протягом діалогу, чому довгий чат коштує більше охоплює частину з історією.

Чотири способи зменшити ввід#

Почніть з max_tokens, що обмежує відповідь і захищає вас від неконтрольованої відповіді. Потім зменште k до найменшого значення, яке все ще знаходить правильний уривок. Зробіть фрагменти щільнішими, щоб 500 токенів несли 500 токенів сенсу, а не заголовки та шаблонний текст. Відкиньте дублікати фрагментів перед надсиланням: два майже ідентичні уривки коштують удвічі, а кажуть один раз. І вимірюйте за допомогою usage на реальному трафіку, бо здогад про 500-токенні фрагменти — лише здогад. Для ширшого погляду на те, куди йдуть токени в API-виклику, дивіться скільки токенів використовує запит.

Вставте свої токени на запит у калькулятор вище, щоб оцінити вашого бота на всіх трьох моделях; якщо ваші відповіді довгі, DeepSeek-V4-Flash — це те, на що варто звернути увагу першим.