Tokeny myślenia w zadaniu masowym: effort, limity, budżety etapów

Tokeny myślenia są rozliczane jako tokeny wyjściowe i wliczają się do max_tokens, nawet gdy ich nigdy nie widzisz. Rachunek za duże zadanie zależy więc od tego, ile model myśli, a nie tylko od długości widocznej odpowiedzi. Dwie dźwignie, które mają znaczenie, to limit wyjścia i podział zadania: tani model do przebiegu masowego, mocniejszy tylko do składania.

Jeśli twój agent działał dziesięć minut, a rachunek jest większy niż zadanie, to pierwsze miejsce, w które warto zajrzeć.

Jak token myślenia wygląda na rachunku#

Weźmy klasyfikator, który odpowiada keep lub drop dla każdego komentarza. Widoczna odpowiedź to jedno słowo; załóżmy na nią około 20 tokenów wyjściowych. Powiedzmy, że model najpierw rozumuje i zużywa na to 600 tokenów. Na ekranie widzisz 20 tokenów, a płacisz za 620.

Strona Anthropic o effort (sprawdzona 5 listopada 2026) mówi to wprost: myślenie wlicza się do max_tokens, nawet gdy treść myślenia nie jest zwracana, a max_tokens to twardy limit całego wyjścia, myślenia plus tekstu odpowiedzi. Strona wyjściowa jest też tą, która ma wyższą cenę za token, dlatego to boli.

Pomnóż to przez 40 000 komentarzy, a niewidoczna część to większość faktury. Podstawy obu stron żądania znajdziesz w input vs output tokens.

Effort: pokrętło, nie budżet#

Messages API Anthropic ustawia effort przez output_config.effort. Bez wartości obowiązuje domyślne ustawienie modelu. Poziomy to max, xhigh, high, medium i low. Domyślnie w większości modeli jest high; Claude Opus 5.5 i Claude Haiku 5.5 domyślnie mają medium.

Trzy szczegóły z tej samej strony warto zapamiętać:

• Effort dotyczy każdego tokenu wyjściowego, z myśleniem lub bez. Niższy effort oznacza też mniej i krótszych wywołań narzędzi, co ma znaczenie dla agentów.
• low pasuje do prostszych zadań i podagentów.
• Effort to sygnał behawioralny, nie ścisły budżet tokenów. Popycha model; nie obiecuje liczby. Twardym limitem jest max_tokens.

Effort to więc pokrętło tego, jak mocno model się stara, a limit wyjścia to płot. Chcesz obu tam, gdzie są dostępne. Na prostą historię o tym, dlaczego myślenie kosztuje więcej, jest wersja dla początkujących: reasoning effort and thinking tokens explained.

Prawdziwy pipeline: jeden model kieruje, drugi robi masę#

Andrej Karpathy, badacz AI i współzałożyciel OpenAI, opisał 31 października 2026 swój pipeline wideo z HN (wpis). Claude Opus 5.5 przy Medium effort, czyli domyślnym, pobrał wszystkie komentarze z Hacker News, zawęził je do około 40 000 komentarzy polecających film z YouTube i zbudował stronę z 6 454 filmami z lat 2007–2026 w 150 tematach. Sonnet przeszedł po komentarzach w workflow Claude Code, aby odfiltrować spam i znaleźć polecenia. Według jego relacji całość zajmuje teraz około dwóch godzin.

Wpis nie podaje liczby tokenów ani kosztu, więc nie ma czego cytować w kwestii ceny. Pokazuje za to kształt: mocniejszy model siedzi na górze przy medium effort i decyduje, co zbudować; tańszy model mieli przez powtarzalną część. Zwróć uwagę, gdzie idą tokeny. Kierowanie to kilka dużych, rzadkich kroków. Filtrowanie to dziesiątki tysięcy drobnych, identycznych.

Ten sam podział działa z dowolną parą modeli. Jeśli chcesz sam prompt filtra, jest w filtering 40K comments with an LLM; a o tym, które żądanie trafia do którego modelu, przeczytasz w model routing, cheap first.

Oszacuj przebieg masowy#

To nasze własne założenie, nie liczby Karpathy'ego: 40 000 komentarzy, około 150 tokenów wejściowych każdy (instrukcja plus komentarz) i około 20 tokenów wyjściowych każdy (etykieta i kilka słów).

• Wejście: 40 000 × 150 = 6 000 000 tokenów
• Wyjście: 40 000 × 20 = 800 000 tokenów

Na DeepSeek-V4-Flash ten przebieg kosztuje $0.17. Tabela pokazuje to samo obciążenie na każdym modelu, który obsługujemy; łącznie, licząc wejście i wyjście razem, każdy z nich jest tańszy niż OpenRouter.

Teraz pozwól modelowi myśleć przez 600 tokenów na komentarz, zanim odpowie, czyli 620 tokenów wyjściowych na element: 40 000 × 620 = 24 800 000 tokenów wyjściowych. Ten sam przebieg na DeepSeek-V4-Flash kosztuje wtedy $2.57. To samo wejście, a jeśli model myśli 600 tokenów na komentarz, strona wyjściowa rośnie trzydzieści jeden razy. Czy to myślenie się opłaca, powie twój własny eval; przy jednoznacznym keep/drop to pierwsza rzecz do przetestowania na niższym poziomie lub z limitem.

Pobaw się własnymi liczbami: tokeny na żądanie i liczba żądań, a kalkulator użyje aktualnych cen.

Dźwignie, które możesz pociągnąć już dziś#

Różne API udostępniają różne mechanizmy kontroli myślenia, więc oto te, które działają wszędzie: twardy limit, instrukcja krótkiej odpowiedzi i podział na etapy.

Minimalne żądanie dla przebiegu masowego na CheapTokens. Bazowy URL to https://api.cheaptokens.dev/v1, a id modelu to pełne id z dokumentacji:

curl https://api.cheaptokens.dev/v1/chat/completions \
  -H "Authorization: Bearer $CHEAPTOKENS_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "deepseek-ai/DeepSeek-V4-Flash-0731",
    "max_tokens": 1024,
    "messages": [
      {"role": "system", "content": "Reply with exactly one word: keep or drop."},
      {"role": "user", "content": "Comment: this talk on compilers changed how I think, youtube.com/watch?v=example"}
    ]
  }'

Odczytaj usage.completion_tokens w odpowiedzi: ta liczba to twój rachunek za wyjście dla żądania. Limit ogradza razem myślenie i widoczną odpowiedź. Jeśli finish_reason to length, a treść jest pusta, limit został wyczerpany, zanim pojawiła się odpowiedź: podnieś go albo poproś o krótszą odpowiedź. Sprawdź usage.completion_tokens na kilku komentarzach, a potem ustaw limit tuż powyżej rzeczywistego maksimum. Szczegóły limitu i sekwencji stopu są w cut output tokens, a cięcie w połowie zdania wyjaśnia why an answer stops mid-sentence.

DeepSeek-V4-Flash pozwala na do 32 768 tokenów wyjściowych na odpowiedź przy kontekście 380K, więc limit 1 024 to wybór, nie ograniczenie. GLM-5.3-Flash (8 192 wyjścia, kontekst 390K) i MiniMax-M2.7 (8 192 wyjścia, kontekst 180K) pasują do tego samego wzorca. Dobieraj limit do etapu.

Aby zobaczyć całość na jednej stronie, tabela aktualnych cen jest pod CheapTokens pricing, a format żądania w docs.

Effort na etap: krótka zasada#

Zacznij nisko przy przebiegu masowym i podnoś po jednym etapie. Trzymaj liczbę, którą twój własny eval uznaje za opłacalną, a nie tę, która brzmi najbezpieczniej. Mocny model powinien widzieć mały, już przefiltrowany zbiór; tani powinien widzieć całą resztę.