একটি RAG প্রশ্নের খরচ: কতটি chunk পাঠাবেন

আপনার ডকুমেন্ট চ্যাটবট কাজ করে, প্রথম ইনভয়েস আসে, এবং সেটি প্রশ্নগুলোর যোগ্যতার চেয়ে বড়। প্রায় প্রতিটি RAG সেটআপে টাকা যায় এক জায়গায়: প্রতিটি প্রশ্নের সামনে আপনি যে retrieved chunk-গুলো পেস্ট করেন। একটি RAG প্রশ্নের খরচ হলো প্রশ্নের টোকেন, আপনার নির্দেশনা এবং ইনপুট সাইডে N সংখ্যক chunk, প্লাস আউটপুট সাইডে একটি সংক্ষিপ্ত উত্তর। Chunk-গুলোই আপনার নিয়ন্ত্রণে থাকা অংশ, এবং প্রতিটি chunk প্রতিটি অনুরোধে একই সংখ্যক টোকেন যোগ করে।

এই গাইডে একটি অনুরোধ গণনা করা হয়েছে, লাইভ দামে 1,000 এবং 100,000 অনুরোধের মূল্য নির্ধারণ করা হয়েছে, এবং top-k 3 থেকে 10-এ নিলে কী পরিবর্তন হয় তা দেখানো হয়েছে। Retrieval নিজেই (আপনার ভেক্টর স্টোর, আপনার chunking) আপনার দিকেই থাকে; শুধুমাত্র চূড়ান্ত generation কল মডেল API-তে যায়। ইনপুট এবং আউটপুট বিলিং নতুন হলে, input vs output tokens দিয়ে শুরু করুন।

একটি RAG অনুরোধে কী কী থাকে#

ধরুন আপনি কোম্পানির ডকুমেন্টের উপর একটি সাপোর্ট বট চালান। একজন গ্রাহক জিজ্ঞাসা করেন, "আমি কীভাবে two-factor লগইন রিসেট করব?", আপনার retriever পাঁচটি সেরা অনুচ্ছেদ ফেরত দেয়, এবং আপনি মডেলে পাঠান:

• একটি সিস্টেম প্রম্পট: "শুধুমাত্র প্রসঙ্গ থেকে উত্তর দিন। যদি সেখানে না থাকে, তাহলে বলে দিন।" — ফরম্যাটিং নিয়ম যোগ করার পর প্রায় 300 টোকেন;
• সামান্য চ্যাট প্রসঙ্গসহ প্রশ্ন — প্রায় 200 টোকেন;
• প্রায় 500 টোকেনের 5টি chunk — 5 × 500 = 2,500 টোকেন;
• উত্তর: দুই বা তিনটি সংক্ষিপ্ত অনুচ্ছেদ — আউটপুটে প্রায় 300 টোকেন।

ইনপুট সাইড 2,500 + 300 + 200 = 3,000 টোকেন, আউটপুট সাইড প্রায় 300। এগুলো একটি সাধারণ সাপোর্ট বটের জন্য লেখকের অনুমান; আপনার নিজের সংখ্যা বসান। নিচের সবকিছু এই একটি অনুরোধকে একক হিসেবে ব্যবহার করে।

আকার দেখার দ্রুত উপায়: chunk-গুলো পুরো ইনপুটের প্রায় পাঁচ-ষষ্ঠাংশ, এবং ইনপুট উত্তরটির দশ গুণ। নিজেই অনুমান করে দেখুন:

1,000 প্রশ্নের খরচ#

একটি অনুরোধ অনুভব করার জন্য খুব ছোট, তাই এটিকে স্কেল করুন। 3,000 টোকেন ইন এবং 300 আউট সহ, 1,000 প্রশ্ন 3,000,000 ইনপুট টোকেন পাঠায় এবং 300,000 আউটপুট টোকেন তৈরি করে। আপনার নিজের বটের সাথে মেলাতে নিচের স্লাইডারগুলো টানুন; সাইটটি প্রতিটি মডেলের লাইভ দামে পুনরায় গণনা করে।

টেবিলটি তিনটি মডেলের জন্য একই কাজের চাপ দেখায়, পাশে OpenRouter রেফারেন্স সহ। ইনপুট এবং আউটপুট একসাথে মোট হিসেবে গণনা করলে, এখানে প্রত্যেকটিই OpenRouter-এর চেয়ে সস্তা হয়।

আর 100,000 প্রশ্নে? সেটি 300,000,000 টোকেন ইন এবং 30,000,000 আউট। DeepSeek-V4-Flash-এ সেটি $7.50, GLM-5.3-Flash-এ $7.20, MiniMax-M2.7-এ $19.50। দাম প্রতি মডেলে নির্দিষ্ট, কোনো পিক আওয়ার নেই, তাই রাতের ব্যাচ এবং দিনের চ্যাটের প্রতি টোকেনে একই খরচ। সম্পূর্ণ মূল্য তালিকা দেখুন the pricing page-এ।

Top-k: প্রতিটি chunk একই পরিমাণ যোগ করে#

এখানে দ্বিতীয় দৃশ্য: একটি অভ্যন্তরীণ উইকি সহায়ক। কেউ পরামর্শ দেন, "শুধু নিশ্চিত হতে 3টির বদলে 10টি chunk পাঠাই।" ইনপুট সরলরেখায় বাড়ে: প্রতিটি chunk প্রতিটি অনুরোধে আরও 500 টোকেন।

2,000 বনাম 5,500 টোকেন: উত্তর একই দৈর্ঘ্যের, তাই উইকি সহায়কের বিলের পুরো পার্থক্যটি ইনপুট। এটি আপনাকে আরও ভালো উত্তর দেয় কিনা তা একটি গুণমানের প্রশ্ন: সঠিক অনুচ্ছেদ ইতিমধ্যে প্রসঙ্গে থাকার পরেও, অতিরিক্ত chunk মূলত শব্দ এবং খরচ যোগ করে। k বেছে নেওয়ার একটি ব্যবহারিক উপায় হলো বাস্তব প্রশ্নের একটি সেট নিন, দেখুন কোন k-তে সঠিক অনুচ্ছেদ আসে, এবং তার সামান্য উপরে থামুন।

Context window হলো অন্য সীমা। এখানে তিনটি মডেলেরই সাধারণ top-k-এর জন্য যথেষ্ট জায়গা আছে: MiniMax-M2.7-এর জন্য 180K টোকেন, DeepSeek-V4-Flash-এর জন্য 380K এবং GLM-5.3-Flash-এর জন্য 390K। আউটপুট সীমা ভিন্ন: GLM-5.3-Flash এবং MiniMax-M2.7-এর জন্য প্রতি উত্তরে 8,192 টোকেন পর্যন্ত, DeepSeek-V4-Flash-এর জন্য 32,768 পর্যন্ত, যা গুরুত্বপূর্ণ যদি আপনার উত্তরগুলো সংক্ষিপ্ত উত্তরের বদলে দীর্ঘ প্রতিবেদন হয়।

প্রম্পটে পুরো ডকুমেন্ট, নাকি চারটি chunk#

তৃতীয় দৃশ্য: চুক্তি Q&A। অলস সংস্করণ প্রতিটি প্রশ্নে সম্পূর্ণ 30,000-টোকেন PDF পেস্ট করে। Retrieval সংস্করণ প্রশ্ন, নির্দেশনা এবং প্রায় 650 টোকেনের চারটি প্রাসঙ্গিক chunk পাঠায়, মোট প্রায় 3,000 টোকেন। একই 1,000 প্রশ্ন, একই 300-টোকেন উত্তর:

সম্পূর্ণ ডকুমেন্ট একই প্রশ্নের জন্য দশ গুণ ইনপুট পাঠায়, 30,000 ÷ 3,000 = 10। context-এ ফিট হওয়া একটি ডকুমেন্ট সম্পর্কে একক এক-বারের প্রশ্নের জন্য এটি এখনও বোঝা যায়। সারা দিন উত্তর দেওয়া একটি বটের জন্য, এটি ব্যয়বহুল ডিফল্ট। যদি সেই ইনপুটের অনেকাংশ প্রতিবার একই টেক্সট হয়, prompt caching সম্পর্কে পড়ুন।

অনুরোধ পাঠান#

নিচে generation ধাপ। Retrieval অংশ আপনার: chunks হলো আপনার ভেক্টর স্টোর যা ফেরত দিয়েছে। একই কোড OpenAI SDK বা সাধারণ curl-এর সাথে কাজ করে।

from openai import OpenAI

client = OpenAI(
    base_url="https://api.cheaptokens.dev/v1",
    api_key="YOUR_CHEAPTOKENS_KEY",
)

chunks = ["Chunk 1 text...", "Chunk 2 text...", "Chunk 3 text..."]
context = "\n\n---\n\n".join(chunks)

resp = client.chat.completions.create(
    model="deepseek-ai/DeepSeek-V4-Flash-0731",
    max_tokens=400,
    messages=[
        {"role": "system", "content": "Answer only from the context. If the answer is not there, say so."},
        {"role": "user", "content": f"Context:\n{context}\n\nQuestion: How do I reset two-factor login?"},
    ],
)
print(resp.choices[0].message.content)
print(resp.usage.prompt_tokens, resp.usage.completion_tokens)

curl https://api.cheaptokens.dev/v1/chat/completions \
  -H "Authorization: Bearer YOUR_CHEAPTOKENS_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "deepseek-ai/DeepSeek-V4-Flash-0731",
    "max_tokens": 400,
    "messages": [
      {"role": "system", "content": "Answer only from the context. If the answer is not there, say so."},
      {"role": "user", "content": "Context:\nChunk 1...\n\nQuestion: How do I reset two-factor login?"}
    ]
  }'

Python উদাহরণের শেষ লাইনটি দরকারি। usage.prompt_tokens হলো প্রতি প্রশ্নে আপনার আসল ইনপুট; এটি 3,000 অনুমানের সাথে তুলনা করুন এবং আমার অনুমানগুলো আপনার সংখ্যা দিয়ে প্রতিস্থাপন করুন। উদাহরণের মতো সম্পূর্ণ মডেল আইডি ব্যবহার করুন: deepseek-ai/DeepSeek-V4-Flash-0731। আইডিগুলো ডকুমেন্টেশনে তালিকাভুক্ত। সম্পূর্ণ সেটআপ the docs-এ, এবং একটি সংলাপে বটের টোকেন কীভাবে যোগ হয় তা দেখতে চাইলে, why a long chat costs more ইতিহাসের অংশটি কভার করে।

ইনপুট কমানোর চারটি উপায়#

max_tokens দিয়ে শুরু করুন, যা উত্তর সীমাবদ্ধ করে এবং একটি অনিয়ন্ত্রিত উত্তর থেকে আপনাকে রক্ষা করে। তারপর k-কে ক্ষুদ্রতম মানে নামিয়ে আনুন যা এখনও সঠিক অনুচ্ছেদ খুঁজে পায়। Chunk-গুলো আরও টাইট করুন, যাতে 500 টোকেন 500 টোকেন অর্থ বহন করে, হেডার এবং boilerplate নয়। পাঠানোর আগে ডুপ্লিকেট chunk বাদ দিন: দুটি প্রায়-অভিন্ন অনুচ্ছেদ দুইবার খরচ করে এবং একবার বলে। এবং বাস্তব ট্রাফিকে usage দিয়ে পরিমাপ করুন, কারণ 500-টোকেন chunk সম্পর্কে একটি অনুমান শুধু একটি অনুমান। একটি API কলে টোকেন কোথায় যায় তার বিস্তৃত দৃষ্টিভঙ্গির জন্য, how many tokens a request uses দেখুন।

উপরের ক্যালকুলেটরে প্রতি অনুরোধে আপনার নিজের টোকেন বসিয়ে তিনটি মডেলে আপনার বটের মূল্য নির্ধারণ করুন; যদি আপনার উত্তর দীর্ঘ হয়, DeepSeek-V4-Flash প্রথমে দেখার মতো।