LiteLLM dengan api_base kustom: memanggil CheapTokens di Python

Untuk mengarahkan LiteLLM ke CheapTokens, Anda mengubah tiga nilai: model diberi awalan openai/ di depan id model lengkap, api_base menjadi https://api.cheaptokens.dev/v1, dan api_key adalah kunci CheapTokens Anda. Itulah seluruh peralihannya, baik untuk litellm.completion() di Python maupun untuk proxy LiteLLM.

Misalkan Anda sudah punya proyek yang memanggil litellm.completion() dengan model OpenAI atau Anthropic, dan Anda ingin mencoba model yang lebih murah tanpa menyentuh sisa kodenya. Awalan itulah yang membuatnya berfungsi: dokumentasi provider yang kompatibel dengan OpenAI milik LiteLLM (diperiksa 29 Oktober 2026) menyatakan bahwa untuk endpoint apa pun yang kompatibel dengan OpenAI Anda menetapkan model dengan openai/ agar LiteLLM merutekan ke provider OpenAI, lalu meneruskan api_base dan api_key di sampingnya. CheapTokens berbicara dalam format OpenAI Chat Completions di https://api.cheaptokens.dev/v1, jadi cocok.

Panggilan yang sama di Python dan di proxy#

Kedua pengaturan ini singkat. Pilih tab yang sesuai dengan cara Anda menjalankan LiteLLM.

import os
import litellm

response = litellm.completion(
    model="openai/deepseek-ai/DeepSeek-V4-Flash-0731",
    api_base="https://api.cheaptokens.dev/v1",
    api_key=os.environ["CHEAPTOKENS_API_KEY"],
    messages=[{"role": "user", "content": "Explain what api_base does in one sentence."}],
    max_tokens=200,
)

print(response.choices[0].message.content)
print(response.usage)

model_list:
  - model_name: cheap-chat
    litellm_params:
      model: openai/deepseek-ai/DeepSeek-V4-Flash-0731
      api_base: https://api.cheaptokens.dev/v1
      api_key: os.environ/CHEAPTOKENS_API_KEY

curl http://localhost:4000/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{"model": "cheap-chat", "messages": [{"role": "user", "content": "Say hi"}]}'

Id model adalah bagian yang sering membuat orang tersandung. Id yang diterima CheapTokens adalah id lengkap, deepseek-ai/DeepSeek-V4-Flash-0731, dan openai/ diletakkan di depannya. Bukan deepseek-v4-flash, bukan hanya awalan ditambah nama pendek. Jika Anda tidak yakin nama sebuah model, daftar model dengan GET /v1/models dan salin id dari jawabannya.

Yang seharusnya Anda lihat#

Jalankan tab Python. print pertama menampilkan teks model. Yang kedua menampilkan response.usage, jumlah token untuk satu panggilan itu: prompt_tokens untuk yang Anda kirim dan completion_tokens untuk yang ditulis model. LiteLLM mengembalikannya dalam bentuk OpenAI, jadi kode yang sudah membaca usage tetap berfungsi. Jika Anda ingin mengubah kedua angka itu menjadi tagihan berjalan, melacak biaya token agen di Python menunjukkan caranya.

Menambahkan lebih banyak model ke proxy#

Inti dari model_name adalah klien Anda tetap memakai satu alias sementara Anda mengganti apa yang ada di baliknya. Sebuah model_list dapat memuat beberapa entri, semuanya mengarah ke api_base yang sama dan kunci yang sama, karena satu saldo CheapTokens mencakup semua model:

model_list:
  - model_name: cheap-chat
    litellm_params:
      model: openai/deepseek-ai/DeepSeek-V4-Flash-0731
      api_base: https://api.cheaptokens.dev/v1
      api_key: os.environ/CHEAPTOKENS_API_KEY
  - model_name: cheap-glm
    litellm_params:
      model: openai/zai-org/GLM-5.3-Flash
      api_base: https://api.cheaptokens.dev/v1
      api_key: os.environ/CHEAPTOKENS_API_KEY
  - model_name: cheap-minimax
    litellm_params:
      model: openai/MiniMaxAI/MiniMax-M2.7
      api_base: https://api.cheaptokens.dev/v1
      api_key: os.environ/CHEAPTOKENS_API_KEY

Alias mana untuk tugas apa? Untuk panggilan chat dan agen yang jawabannya bisa panjang, DeepSeek-V4-Flash adalah pilihan awal: konteks 380K, hingga 32.768 token keluaran per jawaban, dan harga tetap tanpa jam sibuk. GLM-5.3-Flash memiliki konteks 390K dan hingga 8.192 token keluaran. MiniMax-M2.7 memiliki konteks 180K. Halaman DeepSeek berisi detailnya, dan harga mencantumkan tarif terkini untuk ketiganya.

Saat gagal: Not Found dan 401#

Dua error mencakup sebagian besar panggilan pertama yang gagal. Dokumentasi LiteLLM menyatakan jangan menambahkan apa pun ke base URL, dan pada error Not Found Anda harus memeriksa bahwa api_base diakhiri dengan /v1. Satu jebakan: contoh di dokumentasi itu sendiri untuk proxy lokal memakai http://0.0.0.0:4000 tanpa /v1. Itu server yang berbeda. Untuk CheapTokens, /v1 tetap ada.

Untuk panduan lengkap tentang kode status, lihat API 401 atau 404: kunci, base URL, atau id model yang salah. Jika Anda ingin memahami ide di balik api_base terlebih dahulu, apa itu base_url dan cara menggantinya menjelaskannya dengan versi bahasa sederhana.

Berapa biaya seribu panggilan#

Anggap sebuah bot dukungan di balik proxy mengirim 1.000 permintaan sehari, masing-masing sekitar 2.000 token masuk (pertanyaan plus konteks) dan 500 token keluar. Berikut beban itu pada harga terkini, dengan kolom OpenRouter untuk perbandingan total, input dan output dihitung bersama:

Untuk DeepSeek-V4-Flash beban itu berbiaya $0.08 per hari, dan tabel menunjukkan totalnya lebih murah daripada OpenRouter. Ganti kedua angka itu dengan rata-rata permintaan Anda sendiri dan Anda sudah punya anggarannya.

Itulah semua yang dibutuhkan LiteLLM: tiga nilai, satu /v1, dan id model lengkap. Tambahkan kunci dari dasbor Anda dan jalankan tab Python.