Mga thinking token sa isang bulk job: effort, cap, budget bawat yugto

Ang mga thinking token ay sinisingil bilang output token, at binibilang ang mga ito sa max_tokens kahit hindi mo nakikita. Kaya ang bill ng isang malaking trabaho ay depende sa kung gaano karami ang iniisip ng modelo, hindi lamang sa haba ng nakikitang sagot nito. Ang dalawang lever na mahalaga ay ang output cap at ang paghahati ng trabaho: isang murang modelo para sa mass pass, isang mas malakas para lamang sa assembly.

Kung tumakbo ang agent mo nang sampung minuto at mas malaki ang bill kaysa sa gawain, ito ang unang lugar na dapat tingnan.

Ano ang hitsura ng thinking token sa bill#

Kunin natin ang isang classifier na sumasagot ng keep o drop para sa bawat komento. Ang nakikitang sagot ay isang salita lamang; maglaan tayo ng mga 20 output token para dito. Sabihin nating nag-isip muna ang modelo at gumamit ng 600 token sa paggawa nito. 20 token ang nakikita mo sa screen at 620 ang binabayaran mo.

Ang effort page ng Anthropic (sinuri noong 5 Nobyembre 2026) ay malinaw tungkol dito: binibilang ang thinking sa max_tokens kahit hindi ibinalik ang thinking content, at ang max_tokens ay isang hard limit sa kabuuang output, thinking kasama ang response text. Ang output side din ang side na mas mataas ang presyo kada token, kaya masakit ito.

I-multiply iyon sa 40,000 komento at ang hindi nakikitang bahagi ang bumubuo sa karamihan ng invoice. Para sa mga pangunahing kaalaman sa dalawang side ng isang request, tingnan ang input vs output tokens.

Effort: isang dial, hindi isang budget#

Ang Messages API ng Anthropic ay nagtatakda ng effort gamit ang output_config.effort. Kung walang value, ang default ng modelo ang gagamitin. Ang mga level ay max, xhigh, high, medium at low. Ang default ay high sa karamihan ng modelo; ang Claude Opus 5.5 at Claude Haiku 5.5 ay naka-default sa medium.

Tatlong detalye mula sa parehong pahina ang dapat tandaan:

• Naaangkop ang effort sa bawat output token, may thinking man o wala. Ang mas mababang effort ay nangangahulugan din ng mas kaunti at mas maikling tool call, na mahalaga para sa mga agent.
• Ang low ay bagay sa mas simpleng gawain at subagent.
• Ang effort ay isang behavioural signal, hindi isang mahigpit na token budget. Ginagabayan nito ang modelo; hindi ito nangangako ng numero. Ang hard limit ay max_tokens.

Kaya ang effort ang dial para sa kung gaano kahirap magsumikap ang modelo, at ang output cap ang bakod. Gusto mo ang pareho kung saan available ang mga ito. Para sa simpleng paliwanag kung bakit mas mahal ang thinking, may beginner version: reasoning effort and thinking tokens explained.

Isang tunay na pipeline: isang modelo ang nagdidirekta, iba ang gumagawa ng bulk#

Inilarawan ni Andrej Karpathy, AI researcher at co-founder ng OpenAI, ang kanyang HN video pipeline noong 31 Oktubre 2026 (ang post). Ang Claude Opus 5.5 sa Medium effort, ang default nito, ay nag-download ng lahat ng komento sa Hacker News, pinaliit ang mga ito sa humigit-kumulang 40,000 komento na nagrerekomenda ng YouTube video, at gumawa ng site na may 6,454 video mula 2007 hanggang 2026 sa 150 topic. Tumakbo ang Sonnet sa mga komento sa isang Claude Code workflow para i-filter ang spam at hanapin ang mga rekomendasyon. Ayon sa kanya, mga dalawang oras na ang buong proseso ngayon.

Walang token count at walang gastos sa post, kaya walang masipi tungkol sa presyo. Ang ipinapakita nito ay ang hugis: ang mas malakas na modelo ang nasa tuktok sa medium effort at nagpapasya kung ano ang itatayo; isang mas murang modelo ang gumagawa ng paulit-ulit na bahagi. Pansinin kung saan napupunta ang mga token. Ang pagdidirekta ay ilang malalaki at bihirang hakbang. Ang pag-filter ay sampu-sampung libong maliliit at magkakatulad na hakbang.

Gumagana ang parehong paghahati sa kahit anong pares ng modelo. Kung gusto mo ang filter prompt mismo, nasa filtering 40K comments with an LLM ito; para sa pagpapasya kung aling request ang mapupunta sa aling modelo, tingnan ang model routing, cheap first.

Tantiyahin ang bulk pass#

Ito ang aming sariling palagay, hindi ang mga numero ni Karpathy: 40,000 komento, mga 150 input token bawat isa (instruction kasama ang komento) at mga 20 output token bawat isa (isang label at ilang salita).

• Input: 40,000 × 150 = 6,000,000 token
• Output: 40,000 × 20 = 800,000 token

Sa DeepSeek-V4-Flash ang pass na iyon ay nagkakahalaga ng $0.17. Ipinapakita ng table ang parehong workload sa bawat modelong pinaglilingkuran namin; sa kabuuan, kasama ang input at output, mas mura ang bawat isa kaysa sa OpenRouter.

Ngayon hayaang mag-isip ang modelo ng 600 token bawat komento bago ito sumagot, kaya 620 output token bawat item: 40,000 × 620 = 24,800,000 output token. Ang parehong pass sa DeepSeek-V4-Flash ay magiging $2.57. Pareho ang input, at kung mag-isip ang modelo ng 600 token bawat komento, ang output side ay lalaki nang tatlumpu't isang beses. Kung sulit ba ang pag-iisip na iyon ay para sa sarili mong eval sabihin; para sa isang salitang keep/drop, ito ang unang bagay na dapat subukan sa mas mababang level o may cap.

Maglaro sa sarili mong numero: token bawat request at bilang ng request, at gagamitin ng calculator ang live na presyo.

Mga lever na maaari mong hilahin ngayon#

Iba't ibang API ang naglalabas ng iba't ibang kontrol sa thinking, kaya narito ang mga gumagana kahit saan: isang hard cap, isang short-answer instruction at isang stage split.

Isang minimal na request para sa mass pass sa CheapTokens. Ang base URL ay https://api.cheaptokens.dev/v1 at ang model id ay ang buo mula sa docs:

curl https://api.cheaptokens.dev/v1/chat/completions \
  -H "Authorization: Bearer $CHEAPTOKENS_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "deepseek-ai/DeepSeek-V4-Flash-0731",
    "max_tokens": 1024,
    "messages": [
      {"role": "system", "content": "Reply with exactly one word: keep or drop."},
      {"role": "user", "content": "Comment: this talk on compilers changed how I think, youtube.com/watch?v=example"}
    ]
  }'

Basahin ang usage.completion_tokens sa response: ang numerong iyon ang output bill mo para sa request. Binabakuran ng cap ang thinking at ang nakikitang sagot nang magkasama. Kung ang finish_reason ay length at walang laman ang content, naubos ang cap bago lumitaw ang sagot: taasan ito, o humingi ng mas maikling sagot. Suriin ang usage.completion_tokens sa ilang komento, pagkatapos itakda ang cap nang bahagya sa itaas ng tunay na maximum. Ang mga detalye ng cap-and-stop-sequence ay nasa cut output tokens, at ang pagputol sa gitna ng pangungusap ay ipinaliwanag sa why an answer stops mid-sentence.

Ang DeepSeek-V4-Flash ay nagpapahintulot ng hanggang 32,768 output token bawat sagot na may 380K context, kaya ang cap na 1,024 ay isang pagpili, hindi isang limit. Ang GLM-5.3-Flash (8,192 output, 390K context) at MiniMax-M2.7 (8,192 output, 180K context) ay umaayon sa parehong pattern. Piliin ang cap bawat yugto.

Para makita ang buong bagay sa isang pahina, ang live na price table ay nasa CheapTokens pricing, at ang format ng request ay nasa docs.

Effort bawat yugto: isang maikling tuntunin#

Magsimula sa mababa sa mass pass at taasan ang isang yugto nang paisa-isa. Panatilihin ang numerong sinasabi ng sarili mong eval na sulit, hindi ang numerong mukhang pinakaligtas. Dapat makita ng malakas na modelo ang isang maliit at na-filter nang set; dapat makita ng murang modelo ang lahat ng iba pa.