ایک RAG سوال کی لاگت: کتنے حصے بھیجیں

آپ کا دستاویز چیٹ بوٹ کام کرتا ہے، پہلا انوائس آتا ہے، اور یہ سوالات کے مستحق سے بڑا ہوتا ہے۔ تقریباً ہر RAG سیٹ اپ میں پیسہ ایک ہی جگہ جاتا ہے: وہ حاصل شدہ حصے (chunks) جو آپ ہر سوال سے پہلے پیسٹ کرتے ہیں۔ ایک RAG سوال کی لاگت ان پٹ کی طرف سوال، آپ کی ہدایات اور N حصوں کے ٹوکنز، اور آؤٹ پٹ کی طرف ایک مختصر جواب پر مشتمل ہوتی ہے۔ حصے وہ حصہ ہیں جو آپ کنٹرول کرتے ہیں، اور ہر ایک ہر درخواست میں ٹوکنز کی یکساں تعداد شامل کرتا ہے۔

یہ گائیڈ ایک درخواست شمار کرتی ہے، 1,000 اور 100,000 درخواستوں کی قیمت لائیو قیمتوں پر لگاتی ہے، اور دکھاتی ہے کہ جب آپ top-k کو 3 سے 10 پر لے جاتے ہیں تو کیا بدلتا ہے۔ بازیافت (retrieval) خود (آپ کا ویکٹر اسٹور، آپ کی chunking) آپ کی طرف رہتی ہے؛ صرف حتمی جنریشن کال ماڈل API پر جاتی ہے۔ اگر ان پٹ اور آؤٹ پٹ بلنگ آپ کے لیے نئی ہے، تو input vs output tokens سے شروع کریں۔

ایک RAG درخواست میں کیا شامل ہوتا ہے#

فرض کریں آپ کمپنی دستاویزات پر ایک سپورٹ بوٹ چلاتے ہیں۔ ایک گاہک پوچھتا ہے، "میں دو عنصری لاگ ان کیسے ری سیٹ کروں؟"، آپ کا ریٹریور پانچ بہترین اقتباسات واپس کرتا ہے، اور آپ یہ ماڈل کو بھیجتے ہیں:

• ایک سسٹم پرامپٹ: "صرف سیاق و سباق سے جواب دیں۔ اگر وہاں نہیں ہے تو بتا دیں۔" — فارمیٹنگ قواعد شامل کرنے کے بعد تقریباً 300 ٹوکنز؛
• سوال تھوڑے چیٹ سیاق و سباق کے ساتھ — تقریباً 200 ٹوکنز؛
• تقریباً 500 ٹوکنز کے 5 حصے — 5 × 500 = 2,500 ٹوکنز؛
• جواب: دو یا تین مختصر پیراگراف — تقریباً 300 ٹوکنز آؤٹ۔

ان پٹ کی طرف 2,500 + 300 + 200 = 3,000 ٹوکنز، آؤٹ پٹ کی طرف تقریباً 300۔ یہ ایک عام سپورٹ بوٹ کے لیے مصنف کے مفروضے ہیں؛ اپنے نمبر ڈالیں۔ نیچے سب کچھ اس ایک درخواست کو بطور اکائی استعمال کرتا ہے۔

شکل دیکھنے کا تیز طریقہ: حصے پورے ان پٹ کا تقریباً پانچ چھٹے حصے ہیں، اور ان پٹ جواب سے دس گنا ہے۔ خود اندازہ لگائیں:

1,000 سوالات کی لاگت#

ایک درخواست محسوس کرنے کے لیے بہت چھوٹی ہے، تو اسے بڑھائیں۔ 3,000 ٹوکنز ان اور 300 آؤٹ کے ساتھ، 1,000 سوالات 3,000,000 ان پٹ ٹوکنز بھیجتے ہیں اور 300,000 آؤٹ پٹ ٹوکنز پیدا کرتے ہیں۔ اپنے بوٹ سے ملانے کے لیے نیچے سلائیڈرز کھینچیں؛ سائٹ ہر ماڈل کے لیے لائیو قیمتوں پر دوبارہ حساب لگاتی ہے۔

ٹیبل تینوں ماڈلز کے لیے ایک ہی کام کا بوجھ دکھاتا ہے، ساتھ میں OpenRouter حوالہ۔ مجموعی طور پر شمار کیا جائے، ان پٹ اور آؤٹ پٹ ملا کر، یہاں ہر ایک OpenRouter سے سستا نکلتا ہے۔

اور 100,000 سوالات پر؟ یہ 300,000,000 ٹوکنز ان اور 30,000,000 آؤٹ ہیں۔ DeepSeek-V4-Flash پر یہ $7.50 ہے، GLM-5.3-Flash پر $7.20، MiniMax-M2.7 پر $19.50۔ قیمتیں فی ماڈل مقرر ہیں، کوئی پیک آورز نہیں، تو رات کا بیچ اور دن کا چیٹ فی ٹوکن یکساں لاگت رکھتے ہیں۔ مکمل قیمت کی فہرست the pricing page پر دیکھیں۔

Top-k: ہر حصہ یکساں مقدار شامل کرتا ہے#

یہاں دوسرا منظر نامہ ہے: ایک اندرونی ویکی اسسٹنٹ۔ کوئی تجویز کرتا ہے، "احتیاطاً 3 کی بجائے 10 حصے بھیجیں۔" ان پٹ سیدھی لائن میں بڑھتا ہے: ہر حصہ ہر درخواست میں مزید 500 ٹوکنز ہے۔

2,000 بمقابلہ 5,500 ٹوکنز: جواب کی لمبائی یکساں ہے، تو ویکی اسسٹنٹ کے بل میں پورا فرق ان پٹ کا ہے۔ کیا یہ آپ کو بہتر جواب دیتا ہے یہ معیار کا سوال ہے: اس مقام سے آگے جہاں صحیح اقتباس پہلے ہی سیاق و سباق میں ہے، اضافی حصے زیادہ تر شور اور لاگت شامل کرتے ہیں۔ k منتخب کرنے کا عملی طریقہ یہ ہے کہ حقیقی سوالات کا ایک مجموعہ لیں، دیکھیں کہ صحیح اقتباس کس k پر ظاہر ہوتا ہے، اور اس سے تھوڑا اوپر رک جائیں۔

سیاق و سباق کی ونڈو دوسری حد ہے۔ یہاں تینوں ماڈلز میں عام top-k کے لیے کافی گنجائش ہے: MiniMax-M2.7 کے لیے 180K ٹوکنز، DeepSeek-V4-Flash کے لیے 380K اور GLM-5.3-Flash کے لیے 390K۔ آؤٹ پٹ کی حدیں مختلف ہیں: GLM-5.3-Flash اور MiniMax-M2.7 کے لیے فی جواب 8,192 ٹوکنز تک، DeepSeek-V4-Flash کے لیے 32,768 تک، جو اہم ہے اگر آپ کے جوابات مختصر جوابات کی بجائے طویل رپورٹس ہیں۔

پورا دستاویز پرامپٹ میں، یا چار حصے#

تیسرا منظر نامہ: معاہدہ سوال و جواب۔ سست ورژن ہر سوال میں پورا 30,000-ٹوکن PDF پیسٹ کرتا ہے۔ بازیافت ورژن سوال، ہدایات اور تقریباً 650 ٹوکنز کے چار متعلقہ حصے بھیجتا ہے، کل تقریباً 3,000 ٹوکنز۔ وہی 1,000 سوالات، وہی 300-ٹوکن جوابات:

پورا دستاویز دس گنا ان پٹ بھیجتا ہے، 30,000 ÷ 3,000 = 10، اسی سوال کے لیے۔ یہ اب بھی ایک دستاویز کے بارے میں ایک واحد وقتی سوال کے لیے معنی رکھتا ہے جو سیاق و سباق میں فٹ ہو۔ دن بھر جواب دینے والے بوٹ کے لیے، یہ مہنگا ڈیفالٹ ہے۔ اگر اس ان پٹ کا بہت سا حصہ ہر بار وہی متن ہے، تو prompt caching کے بارے میں پڑھیں۔

درخواست بھیجیں#

نیچے جنریشن کا مرحلہ ہے۔ بازیافت کا حصہ آپ کا ہے: chunks وہ ہے جو آپ کے ویکٹر اسٹور نے واپس کیا۔ وہی کوڈ OpenAI SDK یا سادہ curl کے ساتھ کام کرتا ہے۔

from openai import OpenAI

client = OpenAI(
    base_url="https://api.cheaptokens.dev/v1",
    api_key="YOUR_CHEAPTOKENS_KEY",
)

chunks = ["Chunk 1 text...", "Chunk 2 text...", "Chunk 3 text..."]
context = "\n\n---\n\n".join(chunks)

resp = client.chat.completions.create(
    model="deepseek-ai/DeepSeek-V4-Flash-0731",
    max_tokens=400,
    messages=[
        {"role": "system", "content": "Answer only from the context. If the answer is not there, say so."},
        {"role": "user", "content": f"Context:\n{context}\n\nQuestion: How do I reset two-factor login?"},
    ],
)
print(resp.choices[0].message.content)
print(resp.usage.prompt_tokens, resp.usage.completion_tokens)

curl https://api.cheaptokens.dev/v1/chat/completions \
  -H "Authorization: Bearer YOUR_CHEAPTOKENS_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "deepseek-ai/DeepSeek-V4-Flash-0731",
    "max_tokens": 400,
    "messages": [
      {"role": "system", "content": "Answer only from the context. If the answer is not there, say so."},
      {"role": "user", "content": "Context:\nChunk 1...\n\nQuestion: How do I reset two-factor login?"}
    ]
  }'

Python مثال کی آخری لائن مفید ہے۔ usage.prompt_tokens فی سوال آپ کا حقیقی ان پٹ ہے؛ اسے 3,000 کے اندازے سے موازنہ کریں اور میرے مفروضوں کو اپنے نمبروں سے بدلیں۔ مکمل ماڈل id استعمال کریں، جیسا کہ مثال میں: deepseek-ai/DeepSeek-V4-Flash-0731۔ ids دستاویزات میں درج ہیں۔ مکمل سیٹ اپ the docs میں ہے، اور اگر آپ دیکھنا چاہتے ہیں کہ بات چیت میں بوٹ کے ٹوکنز کیسے جمع ہوتے ہیں، تو why a long chat costs more تاریخ کے حصے کا احاطہ کرتا ہے۔

ان پٹ کم کرنے کے چار طریقے#

max_tokens سے شروع کریں، جو جواب کو محدود کرتا ہے اور آپ کو بے قابو جواب سے بچاتا ہے۔ پھر k کو سب سے چھوٹی قدر تک کاٹیں جو اب بھی صحیح اقتباس تلاش کرتی ہے۔ حصوں کو زیادہ سخت بنائیں، تاکہ 500 ٹوکنز معنی کے 500 ٹوکنز لے کر چلیں نہ کہ ہیڈرز اور بوائلر پلیٹ۔ بھیجنے سے پہلے نقل شدہ حصے ہٹا دیں: دو قریب قریب یکساں اقتباسات دوگنا لاگت اور ایک بار کہتے ہیں۔ اور حقیقی ٹریفک پر usage سے پیمائش کریں، کیونکہ 500-ٹوکن حصوں کے بارے میں اندازہ صرف اندازہ ہے۔ API کال میں ٹوکنز کہاں جاتے ہیں اس پر وسیع نظر کے لیے، how many tokens a request uses دیکھیں۔

اپنے فی درخواست ٹوکنز اوپر کیلکولیٹر میں ڈالیں تاکہ اپنے بوٹ کی قیمت تینوں ماڈلز پر لگا سکیں؛ اگر آپ کے جوابات طویل ہیں، تو DeepSeek-V4-Flash پہلے دیکھنے والا ہے۔