Токени міркування в масовій роботі: effort, обмеження, бюджети етапів

Токени міркування тарифікуються як вихідні токени і зараховуються до max_tokens, навіть якщо ви їх ніколи не бачите. Тож рахунок за велику роботу залежить від того, скільки модель думає, а не лише від того, наскільки довга її видима відповідь. Два важелі, що мають значення, — це обмеження вихідних токенів і розподіл роботи: дешева модель для масового проходу, сильніша — лише для збирання.

Якщо ваш агент працював десять хвилин, а рахунок більший за саму задачу, це перше місце, де варто шукати причину.

Як токен міркування виглядає в рахунку#

Візьмімо класифікатор, який відповідає keep або drop на кожен коментар. Видима відповідь — одне слово; закладімо на неї близько 20 вихідних токенів. Припустімо, модель спершу міркує і витрачає на це 600 токенів. Ви бачите на екрані 20 токенів і платите за 620.

Сторінка Anthropic про effort (перевірено 5 листопада 2026) прямо про це каже: міркування зараховуються до max_tokens, навіть коли вміст міркування не повертається, а max_tokens — це жорстка межа загального виводу, тобто міркування плюс текст відповіді. Вихідний бік — це також бік, який коштує дорожче за токен, і саме тому це болить.

Помножте це на 40 000 коментарів — і невидима частина становитиме більшість рахунку. Про основи двох боків запиту дивіться вхідні проти вихідних токенів.

Effort: регулятор, а не бюджет#

Messages API від Anthropic задає effort через output_config.effort. Без значення застосовується типове для моделі. Рівні — max, xhigh, high, medium і low. Типовим на більшості моделей є high; Claude Opus 5.5 і Claude Haiku 5.5 типово мають medium.

Три деталі з тієї ж сторінки варто пам'ятати:

• Effort застосовується до кожного вихідного токена, з міркуванням чи без. Нижчий effort також означає менше й лаконічніше викликів інструментів, що важливо для агентів.
• low підходить для простіших задач і субагентів.
• Effort — це поведінковий сигнал, а не суворий бюджет токенів. Він підштовхує модель; він не гарантує числа. Жорстка межа — max_tokens.

Отже, effort — це регулятор того, наскільки старанно модель намагається, а обмеження виводу — це паркан. Вам потрібні обидва там, де вони доступні. Для простого пояснення, чому міркування коштує дорожче, є версія для початківців: reasoning effort і токени міркування пояснено.

Реальний конвеєр: одна модель керує, інша робить основну роботу#

Андрей Карпаті, дослідник ШІ та співзасновник OpenAI, описав свій конвеєр HN-відео 31 жовтня 2026 (допис). Claude Opus 5.5 з Medium effort, його типовим рівнем, завантажив усі коментарі Hacker News, звузив їх до приблизно 40 000 коментарів, які рекомендують відео на YouTube, і побудував сайт із 6 454 відео з 2007 по 2026 рік у 150 темах. Sonnet прогнав коментарі в робочому процесі Claude Code, щоб відфільтрувати спам і знайти рекомендації. За його словами, усе це тепер займає близько двох годин.

У дописі немає ні кількості токенів, ні вартості, тож цитувати ціну нема з чого. Але він показує форму: сильніша модель сидить на вершині з medium effort і вирішує, що будувати; дешевша модель перемелює повторювану частину. Зверніть увагу, куди йдуть токени. Керування — це кілька великих, рідкісних кроків. Фільтрування — це десятки тисяч крихітних, однакових кроків.

Той самий поділ працює з будь-якою парою моделей. Якщо вам потрібен сам промпт для фільтра, він є в фільтруванні 40K коментарів за допомогою LLM; щоб вирішити, який запит до якої моделі йде, дивіться маршрутизацію моделей, спершу дешева.

Оцініть масовий прохід#

Ось наше власне припущення, а не числа Карпаті: 40 000 коментарів, близько 150 вхідних токенів кожен (інструкція плюс коментар) і близько 20 вихідних токенів кожен (мітка й кілька слів).

• Вхід: 40 000 × 150 = 6 000 000 токенів
• Вихід: 40 000 × 20 = 800 000 токенів

На DeepSeek-V4-Flash цей прохід коштує $0.17. Таблиця показує те саме навантаження на кожній моделі, яку ми обслуговуємо; загалом, з урахуванням входу й виходу разом, кожна з них дешевша за OpenRouter.

Тепер нехай модель міркує 600 токенів на коментар перед відповіддю, тобто 620 вихідних токенів на елемент: 40 000 × 620 = 24 800 000 вихідних токенів. Той самий прохід на DeepSeek-V4-Flash стає $2.57. Той самий вхід, і якщо модель міркує 600 токенів на коментар, вихідний бік зростає в тридцять один раз. Чи варте це міркування — скаже ваш власний eval; для рішення «залишити/відкинути» одним словом це перше, що варто перевірити на нижчому рівні або з обмеженням.

Пограйте зі своїми числами: токени на запит і кількість запитів, а калькулятор використовує актуальні ціни.

Важелі, які можна застосувати вже сьогодні#

Різні API надають різні засоби керування міркуванням, тож ось ті, що працюють усюди: жорстке обмеження, інструкція короткої відповіді та поділ на етапи.

Мінімальний запит для масового проходу на CheapTokens. Базовий URL — https://api.cheaptokens.dev/v1, а id моделі — повний з документації:

curl https://api.cheaptokens.dev/v1/chat/completions \
  -H "Authorization: Bearer $CHEAPTOKENS_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "deepseek-ai/DeepSeek-V4-Flash-0731",
    "max_tokens": 1024,
    "messages": [
      {"role": "system", "content": "Reply with exactly one word: keep or drop."},
      {"role": "user", "content": "Comment: this talk on compilers changed how I think, youtube.com/watch?v=example"}
    ]
  }'

Зверніть увагу на usage.completion_tokens у відповіді: це число — ваш рахунок за вихід для запиту. Обмеження огороджує міркування й видиму відповідь разом. Якщо finish_reason дорівнює length, а вміст порожній, обмеження вичерпалося до появи відповіді: підніміть його або попросіть коротшу відповідь. Перевірте usage.completion_tokens на кількох коментарях, потім встановіть обмеження трохи вище за реальний максимум. Деталі про обмеження й стоп-послідовності — в скороченні вихідних токенів, а обрив посеред речення пояснено в чому відповідь обривається посеред речення.

DeepSeek-V4-Flash дозволяє до 32 768 вихідних токенів на відповідь із контекстом 380K, тож обмеження в 1 024 — це вибір, а не межа. GLM-5.3-Flash (8 192 вихідних, контекст 390K) і MiniMax-M2.7 (8 192 вихідних, контекст 180K) вписуються в ту саму схему. Обирайте обмеження для кожного етапу.

Щоб побачити все на одній сторінці, жива таблиця цін — на цінах CheapTokens, а формат запиту — у документації.

Effort на кожен етап: коротке правило#

Почніть з низького на масовому проході й підвищуйте по одному етапу за раз. Тримайте те число, яке ваш власний eval вважає вартим, а не те, що звучить найбезпечніше. Сильна модель має бачити невеликий, уже відфільтрований набір; дешева — усе інше.