کسٹم api_base کے ساتھ LiteLLM: Python میں CheapTokens کال کریں

LiteLLM کو CheapTokens پر بھیجنے کے لیے آپ تین ویلیوز تبدیل کرتے ہیں: model کو مکمل ماڈل آئی ڈی سے پہلے openai/ پری فکس ملتا ہے، api_base https://api.cheaptokens.dev/v1 بن جاتا ہے، اور api_key آپ کی CheapTokens کلید ہے۔ بس یہی پورا سوئچ ہے، چاہے Python میں litellm.completion() ہو یا LiteLLM پراکسی۔

فرض کریں آپ کے پاس پہلے سے ایک پروجیکٹ ہے جو OpenAI یا Anthropic ماڈل کے ساتھ litellm.completion() کال کرتا ہے، اور آپ باقی کوڈ کو چھوئے بغیر کوئی سستا ماڈل آزمانا چاہتے ہیں۔ پری فکس ہی یہ کام کرتا ہے: LiteLLM کی OpenAI-compatible provider docs (29 اکتوبر 2026 کو چیک شدہ) کے مطابق کسی بھی OpenAI-compatible اینڈ پوائنٹ کے لیے آپ ماڈل کو openai/ کے ساتھ سیٹ کرتے ہیں تاکہ LiteLLM OpenAI پرووائیڈر کی طرف روٹ کرے، پھر اس کے ساتھ api_base اور api_key پاس کرتے ہیں۔ CheapTokens https://api.cheaptokens.dev/v1 پر OpenAI Chat Completions فارمیٹ بولتا ہے، اس لیے یہ فٹ بیٹھتا ہے۔

Python اور پراکسی میں وہی کال#

دونوں سیٹ اپ مختصر ہیں۔ وہ ٹیب چنیں جو آپ کے LiteLLM چلانے کے طریقے سے میل کھاتا ہو۔

import os
import litellm

response = litellm.completion(
    model="openai/deepseek-ai/DeepSeek-V4-Flash-0731",
    api_base="https://api.cheaptokens.dev/v1",
    api_key=os.environ["CHEAPTOKENS_API_KEY"],
    messages=[{"role": "user", "content": "Explain what api_base does in one sentence."}],
    max_tokens=200,
)

print(response.choices[0].message.content)
print(response.usage)

model_list:
  - model_name: cheap-chat
    litellm_params:
      model: openai/deepseek-ai/DeepSeek-V4-Flash-0731
      api_base: https://api.cheaptokens.dev/v1
      api_key: os.environ/CHEAPTOKENS_API_KEY

curl http://localhost:4000/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{"model": "cheap-chat", "messages": [{"role": "user", "content": "Say hi"}]}'

ماڈل آئی ڈی وہ حصہ ہے جہاں لوگ پھنس جاتے ہیں۔ CheapTokens جو آئی ڈی قبول کرتا ہے وہ مکمل ہے، deepseek-ai/DeepSeek-V4-Flash-0731، اور openai/ اس کے آگے آتا ہے۔ نہ deepseek-v4-flash، نہ صرف پری فکس اور کوئی مختصر نام۔ اگر آپ کو یقین نہ ہو کہ ماڈل کا نام کیا ہے تو GET /v1/models سے ماڈلز کی فہرست دیکھیں اور جواب سے آئی ڈی کاپی کریں۔

آپ کو کیا نظر آنا چاہیے#

Python ٹیب چلائیں۔ پہلا print ماڈل کا متن دکھاتا ہے۔ دوسرا response.usage دکھاتا ہے، یعنی اسی ایک کال کے ٹوکن شمار: آپ نے جو بھیجا اس کے لیے prompt_tokens اور ماڈل نے جو لکھا اس کے لیے completion_tokens۔ LiteLLM انہیں OpenAI کی شکل میں واپس کرتا ہے، اس لیے جو کوڈ پہلے سے usage پڑھتا ہے وہ چلتا رہتا ہے۔ اگر آپ ان دو نمبروں کو جاری بل میں بدلنا چاہتے ہیں تو Python میں ایجنٹ ٹوکن لاگت ٹریک کرنا دکھاتا ہے کہ کیسے۔

پراکسی میں مزید ماڈلز شامل کرنا#

model_name کا مقصد یہ ہے کہ آپ کے کلائنٹس ایک ہی عرف (alias) رکھیں جبکہ آپ اس کے پیچھے رکھی چیز بدلتے رہیں۔ ایک model_list میں کئی اندراجات ہو سکتے ہیں، سب ایک ہی api_base اور ایک ہی کلید کی طرف اشارہ کرتے ہوئے، کیونکہ ایک CheapTokens بیلنس ہر ماڈل کو کور کرتا ہے:

model_list:
  - model_name: cheap-chat
    litellm_params:
      model: openai/deepseek-ai/DeepSeek-V4-Flash-0731
      api_base: https://api.cheaptokens.dev/v1
      api_key: os.environ/CHEAPTOKENS_API_KEY
  - model_name: cheap-glm
    litellm_params:
      model: openai/zai-org/GLM-5.3-Flash
      api_base: https://api.cheaptokens.dev/v1
      api_key: os.environ/CHEAPTOKENS_API_KEY
  - model_name: cheap-minimax
    litellm_params:
      model: openai/MiniMaxAI/MiniMax-M2.7
      api_base: https://api.cheaptokens.dev/v1
      api_key: os.environ/CHEAPTOKENS_API_KEY

کون سا عرف کس کام کے لیے؟ چیٹ اور ایجنٹ کالز کے لیے جہاں جواب لمبا ہو سکتا ہے، DeepSeek-V4-Flash سے شروع کریں: 380K کانٹیکسٹ، فی جواب زیادہ سے زیادہ 32,768 آؤٹ پٹ ٹوکن، اور بغیر کسی پیک آورز کے مقررہ قیمت۔ GLM-5.3-Flash کا کانٹیکسٹ 390K اور آؤٹ پٹ زیادہ سے زیادہ 8,192 ٹوکن ہے۔ MiniMax-M2.7 کا کانٹیکسٹ 180K ہے۔ DeepSeek صفحہ پر تفصیلات ہیں، اور قیمتوں کی فہرست تینوں کے موجودہ ریٹ دکھاتی ہے۔

جب یہ ٹوٹے: Not Found اور 401#

دو غلطیاں زیادہ تر ناکام پہلی کالز کو کور کرتی ہیں۔ LiteLLM کی دستاویزات کہتی ہیں کہ بیس یو آر ایل میں کچھ اضافی نہ لگائیں، اور Not Found کی غلطی پر آپ کو چیک کرنا چاہیے کہ api_base کا اختتام /v1 پر ہو۔ ایک بات: دستاویزات کی اپنی مثال لوکل پراکسی کے لیے http://0.0.0.0:4000 استعمال کرتی ہے جس میں /v1 نہیں ہے۔ وہ ایک مختلف سرور ہے۔ CheapTokens کے لیے /v1 برقرار رہتا ہے۔

اسٹیٹس کوڈز کی مکمل تفصیل کے لیے API 401 یا 404: غلط کلید، بیس یو آر ایل یا ماڈل آئی ڈی دیکھیں۔ اگر آپ پہلے api_base کے پیچھے کا خیال سمجھنا چاہتے ہیں تو base_url کیا ہے اور کیسے سوئچ کریں اسے آسان زبان میں بیان کرتا ہے۔

ایک ہزار کالز کی لاگت#

فرض کریں پراکسی کے پیچھے ایک سپورٹ بوٹ روزانہ 1,000 درخواستیں بھیجتا ہے، ہر ایک میں تقریباً 2,000 ٹوکن اندر (سوال اور کانٹیکسٹ) اور 500 ٹوکن باہر۔ یہ ہے وہ بوجھ زندہ قیمتوں پر، ساتھ میں OpenRouter کا کالم موازنے کے لیے، کل، ان پٹ اور آؤٹ پٹ ملا کر گنے گئے:

DeepSeek-V4-Flash کے لیے یہ بوجھ روزانہ $0.08 کا پڑتا ہے، اور جدول دکھاتا ہے کہ یہ کل کے لحاظ سے OpenRouter سے سستا ہے۔ دونوں نمبر اپنی اوسط درخواست کے مطابق بدل لیں اور آپ کا بجٹ تیار ہے۔

LiteLLM کو بس اتنا ہی چاہیے: تین ویلیوز، ایک /v1، اور مکمل ماڈل آئی ڈی۔ اپنے ڈیش بورڈ سے کلید شامل کریں اور Python ٹیب چلائیں۔