Mengapa agen AI menggunakan begitu banyak token (contoh 20 langkah)

Anda mengajukan satu pertanyaan kepada agen, ia bekerja selama beberapa menit, dan halaman penggunaan menunjukkan ratusan ribu token. Tidak ada yang rusak. Agen adalah sebuah loop, dan setiap putaran loop mengirim ulang semua yang telah dikatakan sejauh ini (daftar tool, riwayat, apa pun yang dikembalikan tool) sebagai token input. Jawaban yang ditulisnya sangat kecil. Yang dibacanya berulang kali tidaklah kecil.

Apa itu agen, dalam satu gambaran#

Model chat menjawab sekali. Agen adalah model yang sama di dalam loop dengan tool: baca file, cari di web, jalankan perintah. Dan model tidak mengingat apa pun di antara panggilan. Bayangkan seorang asisten yang melupakan segalanya setiap kali menutup telepon: setiap kali menelepon kembali, Anda membaca catatan dari atas, lalu menambahkan satu baris. Begitulah cara API bekerja.

Dokumentasi tool-use Anthropic (diperiksa 26 Oktober 2026) menggambarkan loop seperti ini:

1. Aplikasi Anda mengirim pesan pengguna dan daftar tool.
2. Model membalas dengan stop_reason: "tool_use" dan blok tool_use: tool mana, dengan argumen apa.
3. Aplikasi Anda menjalankan tool dan mengirim permintaan kedua. Permintaan itu berisi pesan-pesan sebelumnya, panggilan tool dari model, blok tool_result dan daftar tool yang sama.
4. Model menjawab, atau meminta tool lain, dan loop berputar lagi.

Halaman yang sama menyatakan permintaan tool-use ditagih berdasarkan total input yang dikirim, termasuk parameter tools, ditambah output. Jadi langkah 3 tidak pernah "hanya bagian baru": itu adalah seluruh percakapan lagi.

Request 1  tools + system + task
Request 2  tools + system + task + call 1 + result 1
Request 3  tools + system + task + call 1 + result 1 + call 2 + result 2
...

Mekanismenya sama seperti pada mengapa chat panjang lebih mahal, hanya lebih cepat. Chat bertambah satu pesan saat Anda mengetik. Agen bertambah dua blok pada setiap langkah, dan tidak ada yang mengetik apa pun.

Tiga hal yang ikut serta pada setiap langkah#

Daftar tool. Nama, deskripsi dan skema parameter setiap tool masuk ke setiap permintaan, bahkan ketika model tidak menggunakan satu pun pada giliran ini. Dokumentasi menambahkan sedikit tambahan: dengan tool aktif, API menambahkan prompt tool-use-nya sendiri, 286 token pada Claude Sonnet 5.5, Opus 5.5 dan Haiku 5.5, dan model lain memiliki jumlah yang berbeda.

Riwayat. Tugas Anda, panggilan tool model sebelumnya, catatannya.

Output tool. Ini yang licik. File yang dibaca agen, halaman hasil pencarian, log pengujian: begitu masuk ke riwayat, ia dibayar lagi pada setiap langkah berikutnya.

Sebuah token adalah potongan kecil teks, kira-kira satu kata pendek atau bagian dari kata, dan ketiga hal ini dihitung dalam token.

Proses 20 langkah, dihitung#

Katakanlah Anda menjalankan agen coding kecil dengan tiga tool (baca file, cari, jalankan tes) dan memberinya tugas yang membutuhkan 20 langkah. Ambil asumsi berikut:

• definisi tool: 1.500 token, system prompt: 500, tugas Anda: 200, jadi setiap permintaan dimulai dengan 2.200 token;
• pada setiap langkah model menulis panggilan tool sebesar 150 token, dan tool mengembalikan 800 token;
• keduanya bergabung ke riwayat, jadi setiap langkah menambahkan 950 token ke permintaan berikutnya.

Untuk mendapatkan total proses, jumlahkan semua 20 permintaan. Basis 2.200 dikirim 20 kali, dan putarannya dibawa oleh langkah-langkah berikutnya: langkah 1 tidak membawa apa pun, langkah 2 satu, dan seterusnya hingga 19, yang berarti total 190 putaran.

20 × 2.200 = 44.000

950 × 190 = 180.500

44.000 + 180.500 = 224.500 token input, dan 20 × 150 = 3.000 token output.

Agen menulis 3.000 token dan membaca 224.500. Token output lebih mahal per token daripada token input (lihat token input vs output), tetapi jumlahnya sangat sedikit sehingga sisi input tetap menentukan tagihan. Berikut proses tersebut dengan harga saat ini:

Pada DeepSeek-V4-Flash satu proses seperti itu menjadi $0.0037, pada GLM-5.3-Flash menjadi $0.0046. Seratus proses adalah 22.450.000 input dan 300.000 token output: $0.367 pada DeepSeek-V4-Flash. Tabel di atas menghitung input dan output bersama-sama, dan secara total model di sana lebih murah daripada OpenRouter.

Jumlah langkah lebih penting daripada yang terlihat. Proses 5 langkah dengan asumsi yang sama:

5 × 2.200 = 11.000

950 × 10 = 9.500

11.000 + 9.500 = 20.500 token input. Empat kali langkah menghasilkan sekitar sebelas kali input, karena setiap langkah baru juga membaca ulang semua langkah lama.

Di mana memangkas: empat kebiasaan#

Satu hasil tool adalah tempat termudah untuk menghemat. Katakanlah pengujian pada langkah 3 mengembalikan log 4.000 token. Log itu kemudian dikirim ulang oleh 17 permintaan berikutnya:

• sebelum: 4.000 × 17 = 68.000 token input yang dibawa oleh satu log itu;
• sesudah, jika tool hanya mengembalikan 40 baris relevan (sekitar 400 token): 400 × 17 = 6.800.

Tugas sama, jawaban sama, sepersepuluh input dari satu hasil itu. Itu memberikan empat kebiasaan:

• Kembalikan lebih sedikit dari tool. Baris di sekitar error, bukan seluruh log; fungsinya, bukan seluruh file. Ada pembahasan lebih panjang di menjaga output tool keluar dari konteks.
• Beri agen lebih sedikit tool. Setiap definisi ikut pada setiap permintaan.
• Batasi langkah dan mulai tugas baru ketika riwayat lama tidak lagi penting.
• Jumlahkan penggunaan setiap langkah, dan hentikan proses pada anggaran yang Anda pilih sebelumnya. Untuk sisi estimasi, lihat cara memperkirakan biaya agen AI.

Hitung proses Anda sendiri#

Setiap respons melaporkan berapa banyak token yang masuk dan keluar, di bidang usage-nya. Jumlahkan semuanya di semua langkah dan Anda mendapatkan angka nyata untuk agen Anda, bukan asumsi saya. Sketsa dengan OpenAI Python SDK yang diarahkan ke CheapTokens (messages dan tools milik agen Anda sendiri):

from openai import OpenAI

client = OpenAI(base_url="https://api.cheaptokens.dev/v1", api_key="YOUR_API_KEY")

total_in = total_out = 0
for step in range(20):  # your agent loop
    resp = client.chat.completions.create(
        model="deepseek-ai/DeepSeek-V4-Flash-0731",
        messages=messages,
        tools=tools,
    )
    total_in += resp.usage.prompt_tokens
    total_out += resp.usage.completion_tokens
    # ...run the tool, append the result to messages

print(total_in, total_out)

Kedua total itu langsung masuk ke tabel biaya di atas. Untuk riwayat panjang seperti ini, DeepSeek-V4-Flash memberi Anda jendela konteks 380K dan hingga 32.768 token output per jawaban, dengan satu harga kapan pun; GLM-5.3-Flash memiliki konteks 390K dan hingga 8.192 token output. Penyiapannya ada di dokumentasi, harga terkini setiap model ada di halaman harga, dan modelnya memiliki halaman sendiri, DeepSeek murah.