Özel api_base ile LiteLLM: CheapTokens'i Python'da çağırın

LiteLLM'i CheapTokens'e yönlendirmek için üç değeri değiştirirsiniz: model, tam model kimliğinin önüne openai/ önekini alır, api_base https://api.cheaptokens.dev/v1 olur ve api_key CheapTokens anahtarınızdır. Python'da litellm.completion() için de bir LiteLLM proxy'si için de tüm değişiklik bundan ibarettir.

Diyelim ki OpenAI veya Anthropic modeliyle litellm.completion() çağıran bir projeniz var ve kodun geri kalanına dokunmadan daha ucuz bir model denemek istiyorsunuz. İşi yürüten şey önektir: LiteLLM'in OpenAI uyumlu sağlayıcı belgeleri (29 Ekim 2026'da kontrol edildi), herhangi bir OpenAI uyumlu uç nokta için modeli openai/ ile ayarladığınızı, böylece LiteLLM'in OpenAI sağlayıcısına yönlendirdiğini, ardından yanına api_base ve api_key geçirdiğinizi söyler. CheapTokens, https://api.cheaptokens.dev/v1 adresinde OpenAI Chat Completions biçimini konuşur, dolayısıyla uyum sağlar.

Python'da ve proxy'de aynı çağrı#

İki kurulum da kısadır. LiteLLM'i nasıl çalıştırdığınıza uyan sekmeyi seçin.

import os
import litellm

response = litellm.completion(
    model="openai/deepseek-ai/DeepSeek-V4-Flash-0731",
    api_base="https://api.cheaptokens.dev/v1",
    api_key=os.environ["CHEAPTOKENS_API_KEY"],
    messages=[{"role": "user", "content": "Explain what api_base does in one sentence."}],
    max_tokens=200,
)

print(response.choices[0].message.content)
print(response.usage)

model_list:
  - model_name: cheap-chat
    litellm_params:
      model: openai/deepseek-ai/DeepSeek-V4-Flash-0731
      api_base: https://api.cheaptokens.dev/v1
      api_key: os.environ/CHEAPTOKENS_API_KEY

curl http://localhost:4000/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{"model": "cheap-chat", "messages": [{"role": "user", "content": "Say hi"}]}'

İnsanların takıldığı kısım model kimliğidir. CheapTokens'in kabul ettiği kimlik tam olandır, deepseek-ai/DeepSeek-V4-Flash-0731, ve önüne openai/ gelir. deepseek-v4-flash değil, yalnızca önek artı kısa bir ad da değil. Bir modelin adından emin değilseniz, GET /v1/models ile modelleri listeleyin ve kimliği yanıttan kopyalayın.

Ne görmelisiniz#

Python sekmesini çalıştırın. İlk print modelin metnini gösterir. İkincisi response.usage, o tek çağrının token sayılarını gösterir: gönderdiğiniz için prompt_tokens ve modelin yazdığı için completion_tokens. LiteLLM bunları OpenAI biçiminde döndürür, böylece usage okuyan kod çalışmaya devam eder. Bu iki sayıyı güncel bir faturaya dönüştürmek isterseniz, Python'da ajan token maliyetini izleme nasıl yapıldığını gösterir.

Proxy'ye daha fazla model ekleme#

model_name işin özü, siz arkasındakini değiştirirken istemcilerinizin tek bir takma ad tutmasıdır. Bir model_list birden çok girdi barındırabilir; hepsi aynı api_base ve aynı anahtarı gösterir, çünkü tek bir CheapTokens bakiyesi her modeli kapsar:

model_list:
  - model_name: cheap-chat
    litellm_params:
      model: openai/deepseek-ai/DeepSeek-V4-Flash-0731
      api_base: https://api.cheaptokens.dev/v1
      api_key: os.environ/CHEAPTOKENS_API_KEY
  - model_name: cheap-glm
    litellm_params:
      model: openai/zai-org/GLM-5.3-Flash
      api_base: https://api.cheaptokens.dev/v1
      api_key: os.environ/CHEAPTOKENS_API_KEY
  - model_name: cheap-minimax
    litellm_params:
      model: openai/MiniMaxAI/MiniMax-M2.7
      api_base: https://api.cheaptokens.dev/v1
      api_key: os.environ/CHEAPTOKENS_API_KEY

Hangi iş için hangi takma ad? Yanıtın uzun olabileceği sohbet ve ajan çağrıları için başlanacak model DeepSeek-V4-Flash'tir: 380K bağlam, yanıt başına 32.768'e kadar çıktı tokenı ve yoğun saat olmadan sabit fiyat. GLM-5.3-Flash 390K bağlama ve 8.192'ye kadar çıktı tokenına sahiptir. MiniMax-M2.7 180K bağlama sahiptir. Ayrıntılar DeepSeek sayfasında ve fiyatlandırma üçünün de güncel ücretlerini listeler.

Bozulduğunda: Not Found ve 401#

İki hata, başarısız ilk çağrıların çoğunu kapsar. LiteLLM belgeleri temel URL'ye fazladan bir şey eklememenizi ve Not Found hatasında api_base değerinin /v1 ile bitip bitmediğini kontrol etmenizi söyler. Bir incelik var: belgelerin yerel proxy için kendi örneği /v1 olmadan http://0.0.0.0:4000 kullanır. Bu farklı bir sunucudur. CheapTokens için /v1 kalır.

Durum kodlarının tamamı için API 401 veya 404: yanlış anahtar, temel URL veya model kimliği sayfasına bakın. Önce api_base fikrini istiyorsanız, base_url nedir ve nasıl değiştirilir bunu sade bir dille açıklar.

Bin çağrının maliyeti#

Proxy arkasındaki bir destek botunun günde 1.000 istek gönderdiğini, her birinde yaklaşık 2.000 giriş tokenı (soru artı bağlam) ve 500 çıkış tokenı olduğunu varsayın. İşte bu yükün canlı fiyatlarla maliyeti; toplam, giriş ve çıkış birlikte sayılarak karşılaştırma için bir OpenRouter sütunuyla:

DeepSeek-V4-Flash için bu yük günde $0.08 tutar ve tablo toplamda OpenRouter'dan daha ucuz olduğunu gösterir. İki sayıyı kendi ortalama isteğinizle değiştirin, bütçeniz hazır.

LiteLLM'in ihtiyacı olan tek şey bu: üç değer, bir /v1 ve tam bir model kimliği. Panonuzdaki anahtarı ekleyin ve Python sekmesini çalıştırın.