एक RAG सवाल की कीमत: कितने चंक्स भेजें

आपका डॉक्यूमेंट चैटबॉट काम करता है, पहला इनवॉइस आता है, और वह सवालों के हक़ से बड़ा होता है। लगभग हर RAG सेटअप में पैसा एक ही जगह जाता है: वे रिट्रीव्ड चंक्स जो आप हर सवाल के आगे चिपकाते हैं। एक RAG सवाल में इनपुट साइड पर सवाल, आपके निर्देश और N चंक्स के टोकन, और आउटपुट साइड पर एक छोटा जवाब लगता है। चंक्स वह हिस्सा हैं जो आपके नियंत्रण में हैं, और हर एक हर रिक्वेस्ट में समान संख्या में टोकन जोड़ता है।

यह गाइड एक रिक्वेस्ट गिनती है, लाइव कीमतों पर 1,000 और 100,000 की कीमत लगाती है, और दिखाती है कि top-k को 3 से 10 करने पर क्या बदलता है। रिट्रीवल खुद (आपका वेक्टर स्टोर, आपकी चंकिंग) आपकी तरफ रहता है; केवल अंतिम जनरेशन कॉल मॉडल API पर जाता है। अगर इनपुट और आउटपुट बिलिंग आपके लिए नई है, तो input vs output tokens से शुरू करें।

एक RAG रिक्वेस्ट में क्या जाता है#

मान लें आप कंपनी डॉक्स पर एक सपोर्ट बॉट चलाते हैं। एक ग्राहक पूछता है, "मैं टू-फैक्टर लॉगिन कैसे रीसेट करूँ?", आपका रिट्रीवर पाँच सबसे अच्छे पैसेज लौटाता है, और आप मॉडल को यह भेजते हैं:

• एक सिस्टम प्रॉम्प्ट: "केवल कॉन्टेक्स्ट से जवाब दें। अगर वहाँ नहीं है, तो बता दें।" — फ़ॉर्मेटिंग नियम जोड़ने पर लगभग 300 टोकन;
• थोड़े चैट कॉन्टेक्स्ट के साथ सवाल — लगभग 200 टोकन;
• लगभग 500 टोकन प्रत्येक के 5 चंक्स — 5 × 500 = 2,500 टोकन;
• जवाब: दो या तीन छोटे पैराग्राफ — लगभग 300 टोकन आउट।

इनपुट साइड 2,500 + 300 + 200 = 3,000 टोकन है, आउटपुट साइड लगभग 300। ये एक सामान्य सपोर्ट बॉट के लिए लेखक की मान्यताएँ हैं; अपने खुद के नंबर डालें। नीचे सब कुछ इस एक रिक्वेस्ट को इकाई मानकर चलता है।

आकार देखने का त्वरित तरीका: चंक्स पूरे इनपुट का लगभग पाँच-छठा हिस्सा हैं, और इनपुट जवाब का दस गुना है। अनुमान खुद आज़माएँ:

1,000 सवालों की कीमत#

एक रिक्वेस्ट महसूस करने के लिए बहुत छोटी है, इसलिए इसे स्केल करें। 3,000 टोकन इन और 300 आउट के साथ, 1,000 सवाल 3,000,000 इनपुट टोकन भेजते हैं और 300,000 आउटपुट टोकन जनरेट करते हैं। अपने बॉट से मिलाने के लिए नीचे स्लाइडर खींचें; साइट हर मॉडल के लिए लाइव कीमतों पर पुनर्गणना करती है।

तालिका तीनों मॉडलों के लिए समान वर्कलोड दिखाती है, साथ में OpenRouter संदर्भ। कुल मिलाकर, इनपुट और आउटपुट एक साथ गिनते हुए, यहाँ हर एक OpenRouter से सस्ता निकलता है।

और 100,000 सवालों पर? यानी 300,000,000 टोकन इन और 30,000,000 आउट। DeepSeek-V4-Flash पर यह $7.50 है, GLM-5.3-Flash पर $7.20, MiniMax-M2.7 पर $19.50। कीमतें प्रति मॉडल निश्चित हैं, कोई पीक आवर्स नहीं, इसलिए रात का बैच और दिन का चैट प्रति टोकन समान लागत के हैं। पूरी कीमत सूची the pricing page पर देखें।

Top-k: हर चंक समान मात्रा जोड़ता है#

यहाँ दूसरा परिदृश्य है: एक आंतरिक विकी सहायक। कोई सुझाव देता है, "बस इन केस के लिए 3 के बजाय 10 चंक्स भेजते हैं।" इनपुट सीधी रेखा में बढ़ता है: हर चंक हर रिक्वेस्ट में एक और 500 टोकन है।

2,000 बनाम 5,500 टोकन: जवाब समान लंबाई का है, इसलिए विकी सहायक के बिल में पूरा अंतर इनपुट का है। क्या यह आपको बेहतर जवाब देता है, यह गुणवत्ता का सवाल है: जिस बिंदु के बाद सही पैसेज पहले से कॉन्टेक्स्ट में है, उसके बाद अतिरिक्त चंक्स ज़्यादातर शोर और लागत जोड़ते हैं। k चुनने का व्यावहारिक तरीका है असली सवालों का एक सेट लें, देखें कि सही पैसेज किस k पर आता है, और उससे थोड़ा ऊपर रुकें।

कॉन्टेक्स्ट विंडो दूसरी सीमा है। यहाँ तीनों मॉडलों में सामान्य top-k के लिए बहुत जगह है: MiniMax-M2.7 के लिए 180K टोकन, DeepSeek-V4-Flash के लिए 380K और GLM-5.3-Flash के लिए 390K। आउटपुट सीमाएँ अलग हैं: GLM-5.3-Flash और MiniMax-M2.7 के लिए प्रति जवाब 8,192 टोकन तक, DeepSeek-V4-Flash के लिए 32,768 तक, जो मायने रखता है अगर आपके जवाब छोटे उत्तरों के बजाय लंबी रिपोर्ट हैं।

पूरा डॉक्यूमेंट प्रॉम्प्ट में, या चार चंक्स#

तीसरा परिदृश्य: कॉन्ट्रैक्ट Q&A। आलसी संस्करण हर सवाल में पूरा 30,000-टोकन PDF चिपका देता है। रिट्रीवल संस्करण सवाल, निर्देश और लगभग 650 टोकन प्रत्येक के चार प्रासंगिक चंक्स भेजता है, कुल मिलाकर लगभग 3,000 टोकन। वही 1,000 सवाल, वही 300-टोकन जवाब:

पूरा डॉक्यूमेंट दस गुना इनपुट भेजता है, 30,000 ÷ 3,000 = 10, उसी सवाल के लिए। यह अभी भी एक बार के सवाल के लिए समझ में आता है जो कॉन्टेक्स्ट में फिट बैठता है। दिन भर जवाब देने वाले बॉट के लिए, यह महँगा डिफ़ॉल्ट है। अगर उस इनपुट का बहुत सारा हिस्सा हर बार वही टेक्स्ट है, तो prompt caching के बारे में पढ़ें।

रिक्वेस्ट भेजें#

नीचे जनरेशन चरण है। रिट्रीवल हिस्सा आपका है: chunks वही है जो आपके वेक्टर स्टोर ने लौटाया। वही कोड OpenAI SDK या सादे curl के साथ काम करता है।

from openai import OpenAI

client = OpenAI(
    base_url="https://api.cheaptokens.dev/v1",
    api_key="YOUR_CHEAPTOKENS_KEY",
)

chunks = ["Chunk 1 text...", "Chunk 2 text...", "Chunk 3 text..."]
context = "\n\n---\n\n".join(chunks)

resp = client.chat.completions.create(
    model="deepseek-ai/DeepSeek-V4-Flash-0731",
    max_tokens=400,
    messages=[
        {"role": "system", "content": "Answer only from the context. If the answer is not there, say so."},
        {"role": "user", "content": f"Context:\n{context}\n\nQuestion: How do I reset two-factor login?"},
    ],
)
print(resp.choices[0].message.content)
print(resp.usage.prompt_tokens, resp.usage.completion_tokens)

curl https://api.cheaptokens.dev/v1/chat/completions \
  -H "Authorization: Bearer YOUR_CHEAPTOKENS_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "deepseek-ai/DeepSeek-V4-Flash-0731",
    "max_tokens": 400,
    "messages": [
      {"role": "system", "content": "Answer only from the context. If the answer is not there, say so."},
      {"role": "user", "content": "Context:\nChunk 1...\n\nQuestion: How do I reset two-factor login?"}
    ]
  }'

Python उदाहरण की अंतिम पंक्ति उपयोगी है। usage.prompt_tokens प्रति सवाल आपका असली इनपुट है; इसकी तुलना 3,000 के अनुमान से करें और मेरी मान्यताओं को अपने नंबरों से बदलें। पूरा मॉडल id इस्तेमाल करें, जैसे उदाहरण में: deepseek-ai/DeepSeek-V4-Flash-0731। id डॉक्स में सूचीबद्ध हैं। पूरा सेटअप the docs में है, और अगर आप देखना चाहते हैं कि संवाद में बॉट के टोकन कैसे जुड़ते हैं, तो why a long chat costs more इतिहास वाला हिस्सा कवर करता है।

इनपुट घटाने के चार तरीके#

max_tokens से शुरू करें, जो जवाब को सीमित करता है और आपको बेकाबू जवाब से बचाता है। फिर k को सबसे छोटे मान तक घटाएँ जो अभी भी सही पैसेज ढूँढता है। चंक्स को कसें, ताकि 500 टोकन 500 टोकन का अर्थ ले जाएँ, हेडर और बॉयलरप्लेट नहीं। भेजने से पहले डुप्लिकेट चंक्स हटाएँ: दो लगभग-समान पैसेज दोगुनी लागत लेते हैं और एक बार कहते हैं। और असली ट्रैफ़िक पर usage से मापें, क्योंकि 500-टोकन चंक्स के बारे में अनुमान सिर्फ़ अनुमान है। API कॉल में टोकन कहाँ जाते हैं, इस पर व्यापक नज़र के लिए how many tokens a request uses देखें।

अपने प्रति-रिक्वेस्ट टोकन ऊपर कैलकुलेटर में डालें ताकि तीनों मॉडलों पर अपने बॉट की कीमत लगा सकें; अगर आपके जवाब लंबे हैं, तो DeepSeek-V4-Flash पहले देखने लायक है।