Effort penalaran dan token pemikiran: mengapa berpikir lebih mahal

Permintaan Anda adalah satu pertanyaan faktual. Jawabannya tiga baris. Penghitung output menunjukkan ribuan token. Itu bukan bug: sebelum menjawab, banyak model berpikir di scratchpad tersembunyi, dan token pemikiran itu ditagih sebagai token output. Pengaturan effort menentukan seberapa banyak pemikiran itu terjadi, dan max_tokens harus menyisakan ruang untuknya, atau Anda mendapat jawaban terpotong atau kosong.

Apa yang model lakukan sebelum menjawab#

Bayangkan ujian. Anda bisa langsung menulis jawaban, atau mengisi satu halaman coretan dulu. Coretan sering memberi hasil lebih baik pada soal sulit, tetapi kertasnya tidak gratis. Penalaran adalah coretan itu, dan dihitung dalam token seperti hal lainnya.

Dokumentasi extended-thinking Anthropic (diperiksa 23 Oktober 2026) menyatakan token pemikiran adalah bagian dari token output yang ditagih, dan respons memberi tahu Anda berapa jumlahnya: usage.output_tokens_details.thinking_tokens. Misalkan sebuah respons kembali dengan blok usage ini (angka contoh):

"usage": {
  "input_tokens": 480,
  "output_tokens": 2150,
  "output_tokens_details": { "thinking_tokens": 1900 }
}

Anda ditagih untuk 2.150 token output. Pemikiran menghabiskan 1.900 di antaranya, jadi teks yang benar-benar Anda baca adalah 2.150 − 1.900 = 250 token. Hal yang sama berlaku bahkan ketika teks pemikiran tidak dikembalikan kepada Anda: tetap dihitung. Jika Anda ingin perbedaan antara input dan output dijelaskan lebih dulu, mulai dari token input vs output.

Effort: tombol pengatur pemikiran#

Di API Claude tombolnya adalah output_config.effort. Halaman effort Anthropic (diperiksa 23 Oktober 2026) mencantumkan lima level: low, medium, high, xhigh, max. Tiga detail penting bagi pemula:

• Ini memengaruhi setiap token output, bukan hanya pemikiran: teks, pemanggilan tool, dan pemikiran sekaligus.
• Ini sinyal perilaku, bukan anggaran ketat. Effort lebih rendah berarti lebih sedikit token dengan konsekuensi sebagian kemampuan; pada effort rendah Claude dapat melewati pemikiran sepenuhnya pada soal sederhana.
• Default-nya adalah medium pada Claude Opus 5.5 dan Claude Haiku 5.5, dan high pada sebagian besar model lain yang mendukung parameter tersebut. Menyetel default secara eksplisit sama dengan menghilangkannya.

Level dikalibrasi ulang per model, jadi high pada satu model bukan jumlah pemikiran yang sama dengan high pada model lain, dan tidak setiap model menerima setiap level. Dalam satu video yang dipublikasikan seseorang menjalankan setiap level effort Claude Opus 5.5 pada tugas motion-graphics yang sama dan membandingkan gambarnya. Itu cara yang baik untuk melihat apa yang didapat dari pemikiran lebih banyak. Itu tidak akan memberi tahu tagihan Anda, karena tugas Anda bukan tugas mereka.

Permintaan untuk pertanyaan sederhana, dengan effort diturunkan:

{
  "model": "claude-opus-5-5",
  "max_tokens": 4000,
  "output_config": { "effort": "low" },
  "messages": [
    { "role": "user", "content": "What is the capital of Australia?" }
  ]
}

Jebakan jawaban kosong: pemikiran dihitung terhadap max_tokens#

Begini cara ini menjadi salah. Anda mengharapkan jawaban dua kalimat, jadi Anda menyetel max_tokens ke 300. Model mulai berpikir, menghabiskan 300 untuk scratchpad-nya, mencapai batas dan berhenti. Anda mendapat balasan kosong atau kalimat yang berakhir di tengah kata, dan stop reason-nya menyebut max_tokens.

Dokumentasinya eksplisit: max_tokens adalah batas keras pada total output, pemikiran plus teks respons, dan pemikiran tetap dihitung bahkan ketika isinya tidak dikembalikan. Pada effort high dan di atasnya, Anthropic menyarankan menyetel nilai yang besar.

Dalam praktik:

1. Ambil panjang jawaban yang Anda inginkan.
2. Tambahkan ruang yang lega untuk pemikiran. Beberapa ribu token adalah awal yang masuk akal untuk apa pun di atas low.
3. Periksa stop reason setelah beberapa kali jalan pertama. Jika masih menyebut max_tokens, naikkan batasnya. Jika jawabannya lengkap, Anda bisa menurunkannya.

Pemotongan itu sendiri, dengan finish_reason dan context window, dibahas di mengapa jawaban AI berhenti di tengah kalimat.

Apa dampak penalaran panjang pada tagihan#

Misalkan Anda menjalankan bot dukungan dengan 2.000 tiket sehari. Setiap tiket sekitar 500 token masuk. Jawaban singkat dan langsung sekitar 400 token keluar. Tiket yang sama dengan penalaran tersembunyi panjang sekitar 4.000 token keluar. Itu asumsi untuk contoh; untuk angka Anda sendiri lihat berapa banyak token yang digunakan sebuah permintaan.

Per hari itu berarti 2.000 × 500 = 1.000.000 token input, dan entah 2.000 × 400 = 800.000 token output atau 2.000 × 4.000 = 8.000.000 token output. Pembaca tiket melihat dua baris yang sama baik cara mana pun. Satu-satunya hal yang berubah adalah volume output, dan output adalah sisi yang digelembungkan oleh penalaran.

Aritmetikanya sama pada model apa pun yang menagih penalaran tersembunyi: token output × harga output. Untuk DeepSeek-V4-Flash harga itu $0.10 per 1 juta token output, dan sisi output-nya lebih murah daripada harga referensi OpenRouter. Model ini juga menjawab hingga 32.768 token sekaligus dengan konteks 380K, jadi max_tokens yang besar muat. Harga tetap per model, tanpa jam sibuk, dan tabel di atas dihitung ulang dari daftar harga langsung. Semua harga ada di halaman harga; halaman DeepSeek memuat detail modelnya.

Berikut permintaan untuk Anda kirim sendiri. Ini tugas ringkasan biasa, jadi Anda tidak perlu penalaran panjang, dan batasnya menyisakan banyak ruang:

curl https://api.cheaptokens.dev/v1/chat/completions \
  -H "Authorization: Bearer $CHEAPTOKENS_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "deepseek-ai/DeepSeek-V4-Flash-0731",
    "max_tokens": 2000,
    "messages": [
      {"role": "user", "content": "Summarize in one sentence: A token is a small piece of text that a model reads and writes, and APIs bill by the token."}
    ]
  }'

Dalam balasannya, usage.completion_tokens adalah yang Anda bayar di sisi output, dan finish_reason seharusnya stop. Jika tertulis length, batasnya memotong jawaban. Mendapatkan kunci dan panggilan pertama: dokumentasi.

Effort mana untuk pekerjaan mana#

• Fakta, ringkasan satu baris, label. Effort terendah. Ini kasus dari awal artikel: Anda tidak perlu coretan.
• Penulisan sehari-hari, penjelasan singkat, suntingan sederhana. Default untuk model. Ubah hanya setelah Anda melihat berapa biaya jawabannya.
• Bug yang rumit, rencana bertahap, soal matematika. high atau lebih tinggi, dan max_tokens yang besar. Di sini pemikiran ekstra itulah intinya.

Jika ragu, jalankan prompt yang sama pada dua level, bandingkan jawabannya, dan bandingkan output_tokens. Jika jawaban yang lebih murah sama bagusnya, Anda sudah menemukan level Anda.

Memindahkan permintaan lama: error 400#

Kode lama mengendalikan pemikiran dengan anggaran token. Pada Claude 4.7 dan model setelahnya (Opus 5.5, Sonnet 5.5, Haiku 5.5, Fable 5.1) bentuk itu ditolak dengan error 400. Anda beralih ke adaptive thinking dan menyetel kedalamannya dengan effort:

// before: returns 400 on newer models
"thinking": { "type": "enabled", "budget_tokens": 8000 }

// after
"thinking": { "type": "adaptive" },
"output_config": { "effort": "medium" }

Satu jebakan lagi: pada Opus 5.5 adaptive thinking selalu aktif, dan thinking: { "type": "disabled" } mengembalikan 400 pada setiap level effort. Haiku 5.5 mengizinkan pemikiran dinonaktifkan pada effort high atau di bawahnya. Jika Anda ingin pemikiran lebih sedikit pada Opus 5.5, turunkan effort-nya alih-alih mematikannya.

Agen dan obrolan panjang: pilih satu level dan pertahankan#

Jika prompt Anda di-cache, mengubah effort tingkat atas antar permintaan membatalkan cache breakpoint untuk percakapan itu. Untuk loop agen atau obrolan panjang, pilih satu level di awal. Sebagian model menawarkan effort per pesan dalam beta yang mempertahankan cache, yang layak dicoba setelah dasar-dasarnya dikuasai. Obrolan panjang punya pemicu biaya kedua, dibahas di mengapa obrolan panjang lebih mahal.

Coba pada permintaan Anda sendiri#

1. Kirim prompt asli Anda sekali dan baca usage: berapa banyak token output, dan berapa di antaranya adalah pemikiran.
2. Turunkan effort satu langkah dan kirim lagi. Bandingkan jawaban dan jumlahnya.
3. Setel max_tokens ke jawaban yang Anda inginkan plus ruang untuk pemikiran, dan periksa stop reason-nya.

Lalu masukkan jumlah token Anda sendiri ke tabel harga langsung di halaman harga dan Anda punya perkiraan bulanan.