Token thinking dalam pekerjaan massal: effort, batas, anggaran tahap

Token thinking ditagih sebagai token output, dan dihitung terhadap max_tokens bahkan saat Anda tidak pernah melihatnya. Jadi tagihan sebuah pekerjaan besar bergantung pada seberapa banyak model berpikir, bukan hanya pada seberapa panjang jawaban yang terlihat. Dua tuas yang penting adalah batas output dan pemecahan pekerjaan: model murah untuk pass massal, model yang lebih kuat hanya untuk perakitan.

Jika agen Anda berjalan sepuluh menit dan tagihannya lebih besar daripada tugasnya, ini tempat pertama yang perlu diperiksa.

Seperti apa token thinking di tagihan#

Ambil contoh classifier yang menjawab keep atau drop untuk setiap komentar. Jawaban yang terlihat hanya satu kata; mari anggarkan sekitar 20 token output untuk itu. Katakanlah model bernalar lebih dulu dan menghabiskan 600 token untuk itu. Anda melihat 20 token di layar dan membayar 620.

Halaman effort Anthropic (diperiksa 5 November 2026) menyatakannya dengan jelas: thinking dihitung terhadap max_tokens bahkan ketika konten thinking tidak dikembalikan, dan max_tokens adalah batas keras untuk total output, thinking ditambah teks respons. Sisi output juga sisi yang harganya lebih tinggi per token, itulah sebabnya ini menyakitkan.

Kalikan dengan 40.000 komentar dan bagian yang tak terlihat menjadi sebagian besar tagihan. Untuk dasar-dasar dua sisi sebuah request, lihat input vs output tokens.

Effort: sebuah dial, bukan anggaran#

Messages API Anthropic mengatur effort dengan output_config.effort. Tanpa nilai, default model yang berlaku. Levelnya adalah max, xhigh, high, medium dan low. Default-nya adalah high pada sebagian besar model; Claude Opus 5.5 dan Claude Haiku 5.5 default ke medium.

Tiga detail dari halaman yang sama patut diingat:

• Effort berlaku untuk setiap token output, dengan atau tanpa thinking. Effort yang lebih rendah juga berarti panggilan tool yang lebih sedikit dan lebih ringkas, yang penting untuk agen.
• low cocok untuk tugas yang lebih sederhana dan subagen.
• Effort adalah sinyal perilaku, bukan anggaran token yang ketat. Ia mendorong model; ia tidak menjanjikan angka. Batas kerasnya adalah max_tokens.

Jadi effort adalah dial untuk seberapa keras model berusaha, dan batas output adalah pagarnya. Anda ingin keduanya di tempat yang tersedia. Untuk cerita sederhana mengapa thinking lebih mahal, ada versi pemula: reasoning effort and thinking tokens explained.

Pipeline nyata: satu model mengarahkan, model lain mengerjakan massalnya#

Andrej Karpathy, peneliti AI dan salah satu pendiri OpenAI, mendeskripsikan pipeline video HN-nya pada 31 Oktober 2026 (postingan). Claude Opus 5.5 pada effort Medium, default-nya, mengunduh semua komentar Hacker News, menyaringnya menjadi sekitar 40.000 komentar yang merekomendasikan video YouTube, dan membangun situs dengan 6.454 video dari 2007 hingga 2026 di 150 topik. Sonnet berjalan atas komentar-komentar itu dalam alur kerja Claude Code untuk memfilter spam dan menemukan rekomendasi. Menurut keterangannya, seluruhnya sekarang memakan waktu sekitar dua jam.

Postingan itu tidak memberikan jumlah token maupun biaya, jadi tidak ada yang bisa dikutip soal harga. Yang ditunjukkannya adalah bentuknya: model yang lebih kuat berada di atas pada effort medium dan memutuskan apa yang dibangun; model yang lebih murah menggilas bagian yang repetitif. Perhatikan ke mana token pergi. Mengarahkan adalah beberapa langkah besar yang jarang. Memfilter adalah puluhan ribu langkah kecil yang identik.

Pemecahan yang sama berlaku dengan pasangan model apa pun. Jika Anda ingin prompt filter-nya sendiri, ada di filtering 40K comments with an LLM; untuk memutuskan request mana yang pergi ke model mana, lihat model routing, cheap first.

Estimasi pass massal#

Ini asumsi kami sendiri, bukan angka Karpathy: 40.000 komentar, sekitar 150 token input masing-masing (instruksi plus komentar) dan sekitar 20 token output masing-masing (satu label dan beberapa kata).

• Input: 40.000 × 150 = 6.000.000 token
• Output: 40.000 × 20 = 800.000 token

Pada DeepSeek-V4-Flash pass itu berbiaya $0.17. Tabel menunjukkan beban kerja yang sama pada setiap model yang kami layani; secara total, dengan input dan output dihitung bersama, masing-masing lebih murah daripada OpenRouter.

Sekarang biarkan model berpikir selama 600 token per komentar sebelum menjawab, jadi 620 token output per item: 40.000 × 620 = 24.800.000 token output. Pass yang sama pada DeepSeek-V4-Flash menjadi $2.57. Input sama, dan jika model berpikir 600 token per komentar, sisi output tumbuh tiga puluh satu kali. Apakah thinking itu sepadan adalah urusan eval Anda sendiri; untuk keep/drop satu kata, itu hal pertama yang perlu diuji pada level lebih rendah atau dengan batas.

Bermainlah dengan angka Anda sendiri: token per request dan jumlah request, dan kalkulator menggunakan harga langsung.

Tuas yang bisa Anda tarik hari ini#

API yang berbeda mengekspos kontrol thinking yang berbeda, jadi berikut yang bekerja di mana saja: batas keras, instruksi jawaban pendek dan pemecahan tahap.

Request minimal untuk pass massal di CheapTokens. Base URL-nya adalah https://api.cheaptokens.dev/v1 dan id model adalah yang lengkap dari dokumentasi:

curl https://api.cheaptokens.dev/v1/chat/completions \
  -H "Authorization: Bearer $CHEAPTOKENS_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "deepseek-ai/DeepSeek-V4-Flash-0731",
    "max_tokens": 1024,
    "messages": [
      {"role": "system", "content": "Reply with exactly one word: keep or drop."},
      {"role": "user", "content": "Comment: this talk on compilers changed how I think, youtube.com/watch?v=example"}
    ]
  }'

Baca usage.completion_tokens dalam respons: angka itu adalah tagihan output Anda untuk request tersebut. Batas memagari thinking dan jawaban yang terlihat sekaligus. Jika finish_reason adalah length dan kontennya kosong, batas habis sebelum jawaban muncul: naikkan, atau minta jawaban yang lebih pendek. Periksa usage.completion_tokens pada beberapa komentar, lalu setel batas tepat di atas maksimum nyata. Detail batas dan stop sequence ada di cut output tokens, dan pemotongan di tengah kalimat dijelaskan di why an answer stops mid-sentence.

DeepSeek-V4-Flash mengizinkan hingga 32.768 token output per jawaban dengan konteks 380K, jadi batas 1.024 adalah pilihan, bukan limit. GLM-5.3-Flash (8.192 output, konteks 390K) dan MiniMax-M2.7 (8.192 output, konteks 180K) mengikuti pola yang sama. Pilih batas per tahap.

Untuk melihat semuanya di satu halaman, tabel harga langsung ada di CheapTokens pricing, dan format request ada di docs.

Effort per tahap: aturan singkat#

Mulai rendah pada pass massal dan naikkan satu tahap setiap kali. Pertahankan angka yang menurut eval Anda sendiri sepadan, bukan yang terdengar paling aman. Model yang kuat sebaiknya melihat himpunan kecil yang sudah difilter; model murah sebaiknya melihat sisanya.